RU

Метрики, которые врут: ошибка выжившего, p-hacking и другие ловушки данных

Метрика пошла вверх — и хочется сразу закрепить гипотезу и докинуть ресурсов. Но та же цифра нередко оказывается арифметически верной и при этом лжи…

метрикипродуктовая аналитикапарадокс симпсонаошибка выжившегоab-тестированиеp-hackingselection biasстатистическая значимостьзакон гудхартакогнитивные искажения
Habr
RU

Почему +0.3% к ROC‑AUC почти всегда шум, и как это проверить

ROC‑AUC вырос с 0,871 до 0,874 — модель стала лучше или вам просто повезло с разбиением? Разберём, почему прирост на третье…

roc-aucкросс-валидацияоценка качества моделистатистическая значимостьдоверительный интервалбутстрапслучайное зерносравнение моделей