Месяц тюнил поиск по памяти, а починила всё одна строка в промпте
Поднял Recall@5 поиска по памяти на 17%, померил качество самих ответов и получил прирост, неотличимый от шума: тест Макнемара, p = 0.79. Месяц рабо…
Testing & QA
⚑ Сообщить о проблемеПоследние новости Testing & QA от Tech News
Все темы
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
Completion gate для локальных моделей: как отделить завершённый ответ от оценки качества
Три маршрута выполнили по десять сценариев из десяти, но выбирать модель по этой таблице рано. Completion gate отделяет целый артефакт, который вооб…
How to Build AI Evals for Tool-Calling Agents
Every other week it feels like a new model shows up with a shiny score on some "trust me bro" benchmark. The numbers climb, people call it smarter,…
I have been Vibecoding Evals (works better than I thought)
I’ve been building AI apps with coding agents for a while. Lately, I’ve been experimenting with evals too. The app in this example mostly worked. Th…
How to Add Evals to an LLM Feature
Learning how to add evals to an LLM feature is the difference between shipping a demo and shipping a reliable product. When you embed an LLM into a…
С чего начать тестирование LLM: 5 проверок из практики
Вам дали фичу на LLM — чат-бот, агент, голосовой ответчик. Привычное «шаг 1, шаг 2, ожидаемый результат» не работает: ответы плавают, эталона нет, а…
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу – данные примерно 1200 комп…
Как тестировать 5 LLM-агентов одним набором тестов: capability-based подход
В [прошлой статье]( https://habr.com/ru/articles/1049482/ ) я разбирала, почему классический QA ломается на LLM: нет одного эталонного ответа, один…
Что перестаёт работать в тестировании, когда приходит LLM
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз&…
AI Evals, Part 5: From a Number to a Gate Evals in CI and Production
Part 5, the finale, of a series on building production AI on .NET. We've built the pieces — what evals are , error analysis , golden datasets , and…
AI Evals, Part 4: LLM-as-Judge, Done Right
Part 4 of a series on building production AI on .NET. We've covered what evals are , error analysis , and golden datasets . Now: how do you turn a p…
AI Evals, Part 3: Golden Datasets That Dont Lie
Part 3 of a series on building production AI on .NET. Part 1 was the overview; Part 2 was error analysis. Now we turn the failure taxonomy you built…
Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается
Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса…
AI Evals: Почему без оценки качества ваш продукт стоит на месте
Вы меняете системный промпт, надеетесь, что все заработало и деплоите фичу в продакшен. На следующее утро прилетает жалоба: агент выдумал дедлайн ил…
If You Can Survive a Toddler, You Can Ship LLMs in Production
A few years back I was running a time-series pipeline that scored incoming product reviews on a 1-10 scale. The scorer was an LLM. Reviews rolled in…