RU

ОК или НеОК: как мы строили LLM‑судью и дважды меняли формулу вердикта

У нашего AI‑агента поддержки было десять метрик и ноль ответов на главный вопрос: какую долю обращений он решает? Судья, который чита…

LLM JudgeAI-агентыоценка AI-системevalsRAGtool callinggolden setкаппа Коэнаproduction AI
Habr
RU

Kimi K3 на PAC1 и ECOM1: результаты 204 задач и разбор отказов

27 июля Moonshot AI открыла веса Kimi K3 и опубликовала результаты модели на coding- и агентных бенчмарках. Мы проверили, как эти показатели перенос…

Kimi K3LLMязыковые моделиоткрытые весаopen sourceИИ-агентыtool callingагентные системыоценка моделейтестирование ИИ
Habr
RU

Дешевая LLM в проде: как мы ушли с прогнозных $2000 в месяц на $30 и какие минусы

Каждую ночь у нас в JobPath запускается Celery-задача, которая берёт свежие вакансии из каталога (мы собираем их из открытых источников и Telegram-к…

LLMqwenClaudeOpenRoutertool callingstructured outputоптимизация расходовэвал моделейfail-closed
Habr
RU

Пишем кодинг‑агента на Swift с нуля: неочевидные сложности очевидной идеи

Я долго пользовался разными кодинг‑агентами, и на их фоне Claude Code для меня заметно выделялся: качеством решений, удобством работы и вн…

swiftai-агентыllmкодинг-агентыclaude-codeagent loopcontext managementtool callingуправление контекстомии
Habr
RU

Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается

Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса…

ai-агентыllmragevalsorchestrationretrievaltool callingcontext engineeringproductionai infrastructure
Habr
RU

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов н…

ai-агентыllmragorchestrationretrievaltool callingcontext engineeringevalsproductionai infrastructure
Habr
RU

MTP у Qwen3.6 в llama.cpp обещает ×2 по скорости. Я прогнал ту же модель через своего агента — и получил обратное

Привет, Хабр. Меня зовут Лазутин Алексей, я  не профессиональный разработчик . SEO, аудиты сайтов, куча рутины с CSV, curl, отчётами для програ…

локальные llmqwenmtplm studioбенчмаркагентыtool calling