RU

Средняя метрика скрывает провал редкого сегмента: проверяем ML-модель на срезах

Accuracy выросла, очередь на ручную проверку сократилась — кажется, новую ML-модель можно выпускать в продакшен. Но за улучшением общих метрик может…

машинное обучениеоценка качества моделейметрики классификацииaccuracyrecallанализ срезов данныхматрица ошибоквалидация ML-моделеймониторинг качества моделейошибки классификации.
Habr
RU

Внешний бенчмарк причинного recall: проверяем память ИИ-ассистента на YDB Яндекса

Коротко, о чём речь, — для тех, кто пришёл по слову «Яндекс» и предыстории не знает. Когда ИИ-ассистент помогает чинить баг, самое ценное — не сочин…

ИИ-агентыпамять агентаRAGбенчмаркrecallграфовая памятьэмбеддингисемантический поискYDBвоспроизводимость
Habr
RU

Разбираемся в ML без воды: от базы до Attention. Часть 5: Метрики качества

В четвертой части мы начали изучение задачи классификации и разобрали метод kNN. Мы уже дошли до той точки, когда можем построить худо-бедно работаю…

метрики классификацииaccuracyprecisionrecallf-scorePR криваяROC криваяroc-aucConfusion matrix