RU

Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать

Рядом с метрикой принято хранить версию модели и версию данных, но этого мало. Правило отбора объектов в оценку расходится двумя способами: список и…

метрикивоспроизводимостьвалидацияmlopsбэктестэкспериментыкачество-данных
Habr
RU

Как я перестал верить красивым бэктестам: 10 ловушек с реальными цифрами

За последний год я проверил около двадцати торговых идей. Каждая сначала выглядела убедительно: приличная t-статистика, гладкая кривая доходности, п…

бэктесталготрейдингстатистикамоментумакции
Habr
RU

Метрика стала хуже на 20%, и вот почему так правильно

В скрипте обучения лежал список из 39 парковок, которые надо исключить: у них замороженный ряд, и модель учится на них предсказывать константу. Сего…

метрикибэктествременные-рядыgrumlкачество-данныхпарковки
Habr
RU

Отбор акций на .NET: 14,5 млн баров в SQLite, фильтр, который мерил не в тех единицах, и перестановочный тест

Каждый вечер мне нужно ответить на один вопрос: на какие бумаги из примерно тринадцати тысяч имеет смысл потратить время сегодня. Не «какие вырастут…

c#.netsqliteвременные рядыоптимизацияпараллельные вычислениябэктестперестановочный тестанализ данныхотбор акций
Habr
RU

Ипотечный кризис 2008 через свой риск-движок: в деньгах слом виден на год раньше, чем в ROC-AUC

Модель кредитного риска, обученная на данных до 2009 года, ранжирует займы с ROC-AUC 0.89. Ожидаемые потери портфеля она оценила в 161 млн долларов,…

кредитный рискипотечный кризис 2008калибровка моделиwalk-forwardбэктестROC-AUCриск-менеджментVaRМонте-Карлоscikit-learn