RU

Почему +0.3% к ROC‑AUC почти всегда шум, и как это проверить

ROC‑AUC вырос с 0,871 до 0,874 — модель стала лучше или вам просто повезло с разбиением? Разберём, почему прирост на третьем …

roc-aucкросс-валидацияоценка качества моделистатистическая значимостьдоверительный интервалбутстрапслучайное зерносравнение моделей
Habr
RU

Поиск черной кошки в 2000-мерной темной комнате. Турнир алгоритмов машинного обучения

Добро пожаловать на мой маленький тестовый полигон. В этой статье я расскажу, как столкнул лбами двадцать один алгоритм машинного обучения - от старой…

машинное+обучениенейросетиbenchmarkсравнение моделейlightgbmxgboostcatboostrandom forestисследование
Habr
RU

Смогут ли LLM выжить во время катастрофы? Gemini, ChatGPT и другие играют в «Бункер» (анализ поведения)

Тестирование современных LLM моделей проводится с помощью стандартных бенчмарков, которые оценивают математические способности, программирование, пони…

искусственный интеллектнаучпопllmязыковые моделиgeminichatgptсравнение моделейтеория игрбольшие языковые моделиruvds_статьи
Habr
RU

Цифровой аудит против галлюцинаций по ГОСТу. Как понять, когда ответу ИИ нельзя верить?

Все мы привыкли, что нейросети — это про креатив, быстрый поиск и «накидай мне презу на завтра», но что происходит,…

ИИLLMинтерпретация ИИаудит ИИсравнение моделейChatCPTGeminiпринятие решений