RU

AI‑агенты в проде: как оценивать качество, стоимость и стабильность

Хайп вокруг AI‑агентов продолжается. Компании активно внедряют агентов в продукты, внутренние процессы и даже повседневную рабочую рутину сотрудн…

llm-агентметрики качестваai-агентыаналитикаискусственный интеллект
Habr
RU

Почему QA не уменьшает технический долг — и именно поэтому он так важен

За последние десять лет роль тестирования изменилась гораздо сильнее, чем за предыдущие двадцать. Если раньше QA воспринимался как последний рубеж пер…

технический долгнаблюдаемостьметрики качестваархитектурный долгтестирование по
Habr
RU

Как повысить отказоустойчивость сервисов в кластере виртуализации с помощью оптимизации их распределения

Всем привет! Это первая публикация из цикла статей про распределение сервисов в кластере виртуализации. В статье будет описан один из подходов к решен…

инфраструктуравиртуализациякластерсервисынадёжностьотказоустойчивостьоптимизациявиртуальные машиныбалансировка нагрузкиметрики качества
Habr
RU

[Перевод] Месть дата-сайентиста: почему LLM не отменили нашу профессию

LLM упростили запуск AI-функций до нескольких вызовов API, и дата-сайентисты будто бы выпали из критического пути. На практике именно здесь начинаются…

harnessData Scienceдата-сайентистоценка моделейllmllm-as-a-judgeметрики качестваанализ ошибокразметка данныхmlops
Habr
RU

Как мы научили ИИ-агента отвечать за свои слова: 10 000 сообщений, Венгерский алгоритм и немного магии

На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Сегодня разбираем самое больное место разработки ИИ-агентов — как доказать, что они реал…

evaluationметрики качестваLLM-агентыRagasLangFuseRAGВенгерский алгоритмAI-driven разработкаLangChainlangchain агенты.
Habr
RU

От RAG-прототипа к агенту в продакшн: путь по метрикам, а не по моде

На связи Сергей Смирнов, AI-инженер LLMStart.ru. Сегодня расскажу о полноценном кейсе, который мы делали для компании Айтон: агенте-консультанте по 1С…

RAGLLMИИ-агентыLangChainLangFuseRagasметрики качестваcontext engineeringмультимодальностьии
Habr
RU

Инженерия качества: Как перестать надеяться на удачу и начать измерять своих ИИ-агентов [Часть 2]

Продолжаем рассмотрение, того как правильно оценивать качество ИИ систем, в данной части поговорим о двух крайне полезных метриках: одна универсальный…

метрики качестваragasai-агенты
Habr
RU

Почему бенчмарки в AI сломались — и что с этим делать в понедельник

Числовая оценка идеальна для закрытых задач. Аморфная нужна для открытых. AI за пятнадцать лет переехал из первого класса во второй — а инструмент оце…

llmбенчмаркиоценка LLMагентные системыai-агентызакон гудхартаметрики качестваанализ и проектирование системкритическое мышлениенейросети