RU

Цена за успешный результат: почему дешёвая модель может обойтись дороже дорогой

Дешёвая LLM легко превращается в дорогую, если агент чаще ошибается, уходит в повторные прогоны и требует внимания инженера. В статье…

ИИ-агентыLLMстоимость LLMстоимость токеноввыбор моделиAI-агентыкэшированиемаршрутизация моделейчеловеко-времяeval
Habr
RU

Как мы строили eval и автоматизировали оптимизацию AI-агента для умного помощника

Привет! Меня зовут Алексей, я разработчик в Битрикс24.  В первой части рассказывал про retrieval-часть нашего RAG для AI-помощника Марты: как м…

ragevalоптимизациядатасетбитрикс24база знаний
Habr
RU

Как оценивать ИИ-агентов в проде: нижняя планка, трассы и кодовые проверки

Если агент уже ходит в инструменты, читает документы, меняет состояние системы и принимает часть решений сам, проверка одного промпта почти ничего н…

evalaiai-агентыllmтестированиеdata analysisагенты в продакшенеагенты иитрассировкаharness engineering
Habr
RU

Сделаем Python безопасным… снова

Все мы любим Python за то, что он дает нам свободу: динамическую типизацию, кроссплатформенность, огромное количество библиотек и многое д…

Pythonбезопасность Pythonaudit hooksys.settraceASTбайткодстатический анализпесочницаevalruntime-контроль