Эвалы для LLM-фич. Часть 1: зачем они нужны
Поменять промпт или модель можно за вечер. Понять, стало ли лучше, без эвалов нельзя. Разбираю, что такое эвал для LLM-фичи, где его запускать и что…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
linux
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Почему JSON Schema не делает ответ LLM надёжным
Structured output решает одну из самых раздражающих проблем LLM-интеграций: модель наконец стабильно возвращает данные в ожидаемом формате. Но валид…
Кредитный радар: LLM-воркфлоу, который каждое утро читает условия 12 банков и сам проверяет свои числа
TL;DR. Собрал воркфлоу на языковой модели, который раз в сутки обходит 34 страницы условий у 12 российских банков, сравнивает их со вчерашним снимко…
Работает, но не готово: definition of done для ИИ-систем
Открыл список своих ИИ-проектов за два года и не смог ответить, готов ли хоть один. Не «работает ли», работают все три, а именно готов: так, чтобы у…
Месяц тюнил поиск по памяти, а починила всё одна строка в промпте
Поднял Recall@5 поиска по памяти на 17%, померил качество самих ответов и получил прирост, неотличимый от шума: тест Макнемара, p = 0.79. Месяц рабо…
Completion gate для локальных моделей: как отделить завершённый ответ от оценки качества
Три маршрута выполнили по десять сценариев из десяти, но выбирать модель по этой таблице рано. Completion gate отделяет целый артефакт, который вооб…
[Перевод] Сколько автономности должно быть у ИИ‑агента
ИИ‑агент не должен получать больше автономности только потому, что выглядит компетентным. Автономность должна расти тогда, когда система в…
ОК или НеОК: как мы строили LLM‑судью и дважды меняли формулу вердикта
У нашего AI‑агента поддержки было десять метрик и ноль ответов на главный вопрос: какую долю обращений он решает? Судья, который чита…
Честный RAG eval set: как собрать первые 100-300 кейсов и не обмануть себя цифрой
В прошлой статье серии мы сжимали эмбеддинги и замеряли, насколько изменится выдача относительно полного fp32-поиска. Там это был правильный вопрос:…
Я объяснил KERNEL маме за пять минут. Потом проверил, переживёт ли он LLM в production
Недавно я попробовал объяснить маме, как нормально ставить задачи ChatGPT. Без temperature, context window, system prompt и прочих слов, после котор…
[Перевод] Внутри Claude нашли сознание у моделей. J-пространство в LLM
Привет, Хабр. 6 июля 2026 года Anthropic опубликовала исследование Verbalizable Representations Form a Global Workspace in Language Models . Р…
AI Engineer World's Fair 2026: разбор докладов и куда движется AI-инженерия
AI Engineer World's Fair 2026 уже прошла, а по-русски её так никто и не разобрал. В официальном расписании 560 сессий: воркшопы, кейноуты, доклады.…
С чего начать тестирование LLM: 5 проверок из практики
Вам дали фичу на LLM — чат-бот, агент, голосовой ответчик. Привычное «шаг 1, шаг 2, ожидаемый результат» не работает: ответы плавают, эталона нет, а…
Evals: что должен знать каждый AI-инженер в 2026
В июле 2025 coding-агент в Replit проигнорировал явный запрет на изменения файлов (code-freeze) и удалил production-базу – данные примерно 1200 комп…
Как тестировать 5 LLM-агентов одним набором тестов: capability-based подход
В [прошлой статье]( https://habr.com/ru/articles/1049482/ ) я разбирала, почему классический QA ломается на LLM: нет одного эталонного ответа, один…
Что перестаёт работать в тестировании, когда приходит LLM
13 лет я тестировала софт, где у бага был адрес: шаг 1, шаг 2, ожидаемый результат, фактический. Нажал — получил. Нажал ещё раз&…
Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается
Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса…
Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит
Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов н…
AI Evals: Почему без оценки качества ваш продукт стоит на месте
Вы меняете системный промпт, надеетесь, что все заработало и деплоите фичу в продакшен. На следующее утро прилетает жалоба: агент выдумал дедлайн ил…