RU

Как сделать RAG-чат для сайта, который не выдумывает цены: пять решений из моего бота

С июня я делаю AI-чат для сайтов, который не выдумывает цены и не соглашается с клиентом во всём подряд. К пяти решениям из статьи я пришёл через ош…

ragllmgenerative uiчат-ботtool callingpgvectorvue 3shadow domтестирование llmregexp
Habr
RU

Маскирование ПДн для LLM: метрика, которую не считает никто, и шесть шлюзов против живого агента

Мы прогнали шесть шлюзов маскирования ПДн через живого агента с инструментами, чтобы измерить то, чего не мерят существующие бенчмарки: возвращается…

маскирование персональных данныхPIILLMвызов инструментовtool calling152-ФЗобезличиваниебенчмаркNERPresidio
Habr
RU

Как показать работу AI-агента в Telegram: статусы инструментов, анимации и кнопка Stop

Пользователь просит Telegram-бота сравнить две модели наушников для рабочих звонков. Агент ищет обзоры, читает страницы, проверяет, что пишут о микр…

telegramtelegram bot apiai-агентыllmчат-ботыrich messagestool callingsendRichMessageDraft
Habr
RU

[Перевод] Строим продвинутый каркас для ИИ-агента

В основе базового agentic harness — простой цикл: LLM получает задачу, выбирает и вызывает инструмент, результат возвращается в контекст, после чего…

harness engineeringllmии-агентыdagоркестрацияtool callingверификацияpydanticpythonasyncio
Habr
RU

Агент поддержки первой линии: прототип за вечер, харнес для прода, цена диалога

Бизнес хочет автоматизировать первую линию поддержки. Оператора надо нанять, обучить, поставить в график, проверять и каждый месяц платить зарплату.…

LLM-агентагент поддержкихарнесагентский циклtool callingstructured outputэскалацияцена диалогаQwenNestJS
Habr
RU

Хорош хардкодить кривые MCP: превращаем любой скрипт в инструмент LLM за 2 секунды

Давайте будем честны: текущее состояние вызова функций (Function Calling) у LLM и экосистемы MCP (Model Context Protocol) вызывает изжогу. Чтобы дат…

LLMAI агентыMCPModel Context Protocolfunction callingtool callingBunself-hostedFastifydevops automation
Habr
RU

Один харнесс, три модели: чего вам не расскажут публичные бенчмарки

Привет! Я Чичев Максим, работаю руководителем разработки платформенных решений в Петрович-Тех. В этой статье хочу рассказать о том, как я прогнал тр…

LLMAI-агентыбенчмаркитестирование моделейагентные системыхарнессprompt engineeringtool callingавтоматизация процессовнадежность ИИ
Habr
RU

ОК или НеОК: как мы строили LLM‑судью и дважды меняли формулу вердикта

У нашего AI‑агента поддержки было десять метрик и ноль ответов на главный вопрос: какую долю обращений он решает? Судья, который чита…

LLM JudgeAI-агентыоценка AI-системevalsRAGtool callinggolden setкаппа Коэнаproduction AI
Habr
RU

Kimi K3 на PAC1 и ECOM1: результаты 204 задач и разбор отказов

27 июля Moonshot AI открыла веса Kimi K3 и опубликовала результаты модели на coding- и агентных бенчмарках. Мы проверили, как эти показатели перенос…

Kimi K3LLMязыковые моделиоткрытые весаopen sourceИИ-агентыtool callingагентные системыоценка моделейтестирование ИИ
Habr
RU

Дешевая LLM в проде: как мы ушли с прогнозных $2000 в месяц на $30 и какие минусы

Каждую ночь у нас в JobPath запускается Celery-задача, которая берёт свежие вакансии из каталога (мы собираем их из открытых источников и Telegram-к…

LLMqwenClaudeOpenRoutertool callingstructured outputоптимизация расходовэвал моделейfail-closed
Habr
RU

Пишем кодинг‑агента на Swift с нуля: неочевидные сложности очевидной идеи

Я долго пользовался разными кодинг‑агентами, и на их фоне Claude Code для меня заметно выделялся: качеством решений, удобством работы и вн…

swiftai-агентыllmкодинг-агентыclaude-codeagent loopcontext managementtool callingуправление контекстомии
Habr
RU

Evals для чайников. Как тестировать AI-агента, чтобы понимать, где именно он ломается

Большинство команд оценивают производительность AI-агентов через end-to-end метрики: success rate, количество токенов, tool usage, стоимость запроса…

ai-агентыllmragevalsorchestrationretrievaltool callingcontext engineeringproductionai infrastructure
Habr
RU

Почему ломается ваш AI-агент — и почему смена модели обычно его не чинит

Представьте внутреннего AI-агента, который помогает компании искать общие документы и управлять ими. Он работает. До тех пор, пока 12–15% запросов н…

ai-агентыllmragorchestrationretrievaltool callingcontext engineeringevalsproductionai infrastructure
Habr
RU

MTP у Qwen3.6 в llama.cpp обещает ×2 по скорости. Я прогнал ту же модель через своего агента — и получил обратное

Привет, Хабр. Меня зовут Лазутин Алексей, я  не профессиональный разработчик . SEO, аудиты сайтов, куча рутины с CSV, curl, отчётами для програ…

локальные llmqwenmtplm studioбенчмаркагентыtool calling