Эвалы для LLM-фич. Часть 1: зачем они нужны
Поменять промпт или модель можно за вечер. Понять, стало ли лучше, без эвалов нельзя. Разбираю, что такое эвал для LLM-фичи, где его запускать и что…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Почему JSON Schema не делает ответ LLM надёжным
Structured output решает одну из самых раздражающих проблем LLM-интеграций: модель наконец стабильно возвращает данные в ожидаемом формате. Но валид…
TypeSafe Jev Played Chess — And Landed Next to Reasoning Models
TypeSafe's Jev is an odd one. It isn't a chat model - you send a state plus typed questions (Choice / Score / Noul) and get labels with probabilitie…
Кредитный радар: LLM-воркфлоу, который каждое утро читает условия 12 банков и сам проверяет свои числа
TL;DR. Собрал воркфлоу на языковой модели, который раз в сутки обходит 34 страницы условий у 12 российских банков, сравнивает их со вчерашним снимко…
Работает, но не готово: definition of done для ИИ-систем
Открыл список своих ИИ-проектов за два года и не смог ответить, готов ли хоть один. Не «работает ли», работают все три, а именно готов: так, чтобы у…
Месяц тюнил поиск по памяти, а починила всё одна строка в промпте
Поднял Recall@5 поиска по памяти на 17%, померил качество самих ответов и получил прирост, неотличимый от шума: тест Макнемара, p = 0.79. Месяц рабо…
Completion gate для локальных моделей: как отделить завершённый ответ от оценки качества
Три маршрута выполнили по десять сценариев из десяти, но выбирать модель по этой таблице рано. Completion gate отделяет целый артефакт, который вооб…
[Перевод] Сколько автономности должно быть у ИИ‑агента
ИИ‑агент не должен получать больше автономности только потому, что выглядит компетентным. Автономность должна расти тогда, когда система в…
ОК или НеОК: как мы строили LLM‑судью и дважды меняли формулу вердикта
У нашего AI‑агента поддержки было десять метрик и ноль ответов на главный вопрос: какую долю обращений он решает? Судья, который чита…
Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой
В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос:…
One pass of my eval bills $9.14 on the API and $0 through the CLI
One pass of my board eval bills $9.14 on the Anthropic API. Through Claude Code it bills $0. Same model, claude-opus-4-8. That is 27 calls, and it i…
Я объяснил KERNEL маме за пять минут. Потом проверил, переживёт ли он LLM в production
Недавно я попробовал объяснить маме, как нормально ставить задачи ChatGPT. Без temperature, context window, system prompt и прочих слов, после котор…
How to Build AI Evals for Tool-Calling Agents
Every other week it feels like a new model shows up with a shiny score on some "trust me bro" benchmark. The numbers climb, people call it smarter,…
I have been Vibecoding Evals (works better than I thought)
I’ve been building AI apps with coding agents for a while. Lately, I’ve been experimenting with evals too. The app in this example mostly worked. Th…
How to Add Evals to an LLM Feature
Learning how to add evals to an LLM feature is the difference between shipping a demo and shipping a reliable product. When you embed an LLM into a…
[Перевод] Внутри Claude нашли сознание у моделей. J-пространство в LLM
Привет, Хабр. 6 июля 2026 года Anthropic опубликовала исследование Verbalizable Representations Form a Global Workspace in Language Models . Р…
AI Engineer World's Fair 2026: разбор докладов и куда движется AI-инженерия
AI Engineer World's Fair 2026 уже прошла, а по-русски её так никто и не разобрал. В официальном расписании 560 сессий: воркшопы, кейноуты, доклады.…
С чего начать тестирование LLM: 5 проверок из практики
Вам дали фичу на LLM — чат-бот, агент, голосовой ответчик. Привычное «шаг 1, шаг 2, ожидаемый результат» не работает: ответы плавают, эталона нет, а…
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу – данные примерно 1200 комп…
Как тестировать 5 LLM-агентов одним набором тестов: capability-based подход
В [прошлой статье]( https://habr.com/ru/articles/1049482/ ) я разбирала, почему классический QA ломается на LLM: нет одного эталонного ответа, один…
Что перестаёт работать в тестировании, когда приходит LLM
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз&…
AI Evals, Part 5: From a Number to a Gate Evals in CI and Production
Part 5, the finale, of a series on building production AI on .NET. We've built the pieces — what evals are , error analysis , golden datasets , and…
AI Evals, Part 4: LLM-as-Judge, Done Right
Part 4 of a series on building production AI on .NET. We've covered what evals are , error analysis , and golden datasets . Now: how do you turn a p…
AI Evals, Part 3: Golden Datasets That Dont Lie
Part 3 of a series on building production AI on .NET. Part 1 was the overview; Part 2 was error analysis. Now we turn the failure taxonomy you built…
AI Evals, Part 2: Error Analysis The Unglamorous Superpower Behind Good Evals
Part 2 of a series on building production AI on .NET. Part 1 covered what evals are and the Analyze → Measure → Improve lifecycle. This post is abou…
Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается
Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса…
Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит
Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов н…
AI Evals: Почему без оценки качества ваш продукт стоит на месте
Вы меняете системный промпт, надеетесь, что все заработало и деплоите фичу в продакшен. На следующее утро прилетает жалоба: агент выдумал дедлайн ил…
If You Can Survive a Toddler, You Can Ship LLMs in Production
A few years back I was running a time-series pipeline that scored incoming product reviews on a 1-10 scale. The scorer was an LLM. Reviews rolled in…