Насколько сильно Random State влияет на качество ML-модели? Проверяем на 100 экспериментах
Представим ситуацию: мы обучили модель, получили Accuracy 77% и решили немного изменить параметры. Запустили обучение повторно — теперь получилось 7…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Может ли плохая модель победить хорошую? Как Data Leakage обманывает метрики
Представим обычную ситуацию: мы обучили несколько моделей, сравнили их на тестовой выборке и получили довольно странный результат. Простейшее дерево…
Ипотечный кризис 2008 через свой риск-движок: в деньгах слом виден на год раньше, чем в ROC-AUC
Модель кредитного риска, обученная на данных до 2009 года, ранжирует займы с ROC-AUC 0.89. Ожидаемые потери портфеля она оценила в 161 млн долларов,…
0.9 от вашего классификатора — это не 90%: почему модели врут о своей уверенности и как это чинить
Порог 0,8 часто воспринимают как 80% уверенности — и на этом строят автоматизацию. Разберём, почему predict_proba может врать, как&nb…