RU

Насколько сильно Random State влияет на качество ML-модели? Проверяем на 100 экспериментах

Представим ситуацию: мы обучили модель, получили Accuracy 77% и решили немного изменить параметры. Запустили обучение повторно — теперь получилось 7…

machine learningrandom_statescikit-learncross-validationpython
Habr
RU

Может ли плохая модель победить хорошую? Как Data Leakage обманывает метрики

Представим обычную ситуацию: мы обучили несколько моделей, сравнили их на тестовой выборке и получили довольно странный результат. Простейшее дерево…

Machine LearningPythonData Sciencescikit-learnData Leakage
Habr
RU

Как проверить ML‑модель перед продом и избежать утечки данных в scikit‑learn

Высокая метрика на кросс‑валидации ещё не означает, что модель покажет такой же результат после запуска. Разрыв между офлайном и…

scikit-learnpipelineкросс-валидацияdata-leakageутечка-данныхtarget-encodingMLOpsантифродвалидация-модели
Habr
RU

Ипотечный кризис 2008 через свой риск-движок: в деньгах слом виден на год раньше, чем в ROC-AUC

Модель кредитного риска, обученная на данных до 2009 года, ранжирует займы с ROC-AUC 0.89. Ожидаемые потери портфеля она оценила в 161 млн долларов,…

кредитный рискипотечный кризис 2008калибровка моделиwalk-forwardбэктестROC-AUCриск-менеджментVaRМонте-Карлоscikit-learn
Habr
RU

0.9 от вашего классификатора — это не 90%: почему модели врут о своей уверенности и как это чинить

Порог 0,8 часто воспринимают как 80% уверенности — и на этом строят автоматизацию. Разберём, почему predict_proba может врать, как&nb…

калибровка вероятностейклассификациямашинное обучениеpredict_probaECEкалибровочная криваяPlatt scalingизотоническая регрессияtemperature scalingscikit-learn
Habr
RU

Изучаем машинное обучение scikit-learn за одну статью: от понимания API до боевого пайплайна

Осваиваем scikit-learn за 20 минут 🚀 Выкатил на Хабр гайд для тех, кто хочет понять классический ML на Python без воды. Внутри: — Главный секрет биб…

pythonscikit-learnmachine learningмашинное обучениеdata scienceруководстводля начинающих