RU

Мой агент получил высокий балл. Проверяю, что он сделал

Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти за…

ELMAI-агентыtau2-benchбенчмаркиDeepSeekхарнессметрикиотказы
Habr
RU

Чат, который ничего не сочиняет: 43 гипотезы, четыре ошибки замера и одна честная стена

Идея была простая и не новая: у большой языковой модели два неприятных свойства — она стоит денег на каждый ответ и держит в памяти десятки гигабайт…

ELMRAGLLMклассификацияNatural QuestionsSQuAD 2.0BoolQLongBenchбенчмаркиотказы