Мой агент получил высокий балл. Проверяю, что он сделал
Как проверить, что диалоговый агент выполнил задачу, если бенчмарк поставил высокий балл? В первой пробе мой агент получил награду 1 на всех пяти за…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
linux
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Как я получаю хороший отклик на свои рассылки
Моя конверсия по рассылкам. Я показываю на примере рандомной своей выборки - но статистика отражает реальную действительность Читать далее
Удалить нельзя оставить: как фича «для удобства» подняла смотрение в PREMIER
Это реальная история. Из уважения к зрителям дизайн выбирали вместе с ними. Из уважения к коммерческой тайне все метрики даны в процентах. Всем прив…
Одно имя метрики, разные эксперименты: почему состав выборки надо хешировать
Рядом с метрикой принято хранить версию модели и версию данных, но этого мало. Правило отбора объектов в оценку расходится двумя способами: список и…
Сделали 40 дашбордов и утонули в аналитике: пришлось делать навигатор
Привет! Я — Анна Ноябрьская, работаю в отделе аналитики «Синтеки». Мы создаем софт для снабжения и закупок в строительстве и помогаем клиентам анали…
Автоматизация матчмейкинга: как я знакомлю полезных друг другу лидов
Я много знакомлю лидов друг с другом. Теперь этот процесс автоматизирован. Этот способ позволяет мне расширять свой нетворк и давать пользу тем, с к…
Выручка +49 %, но это не заслуга ИИ: разбор ИИ-контура у селлера на Wildberries и Ozon
Производитель косметики, шесть кабинетов на Wildberries и Ozon, оборот около 45 млн ₽ в месяц. За шесть недель команда маркетплейсов из ше…
«Выросли на 11% к прошлому месяцу» — и ни одного нового клиента
В феврале 28 дней, в марте 31, продавайте одинаково каждый день — и рост на 11% появится сам, без новых клиентов. В статье разбираю базу, как календ…
Дерево метрик: как мы связали вклад маркетинга с бизнес-целями компании
Привет, Хабр! На связи Сергей Кноль, маркетинговый аналитик, отвечаю за всю аналитику маркетинга в М2 и Артём Колесник, руковожу продуктовым маркети…
664 тысячи книг, десятки агентов — и ни одной метрике нельзя верить
Мне нужны собственные каноники книг. Каноник — это одна устойчивая запись «вот этот текст», к которой привязывается всё остальное: файлы в разных фо…
После релиза БОЛТУНа на Tauri: 134 млн голосовых кадров и рост аудитории
15 сентября мы выпустили БОЛТУН с Windows-клиентом на Tauri. К 28 сентября сервер учёл 134 млн входящих голосовых кадров, а среднее число разных кли…
Jev, Laya и Gemini Flash на трёх задачах классификации в поддержке
Прогнал три задачи из прода через модели, которые ничего не пишут, а только выбирают из списка, ставят оценку по шкале или возвращают вероятность. Д…
Метрика стала хуже на 20%, и вот почему так правильно
В скрипте обучения лежал список из 39 парковок, которые надо исключить: у них замороженный ряд, и модель учится на них предсказывать константу. Сего…
Гайд по switchback‑экспериментам: длина окна, кластеризация ошибок и мощность
Новый алгоритм может уверенно выигрывать A/B‑тест и не показывать ожидаемого эффекта после запуска, если эксперимент учитывает только пользоват…
Кто нашёл больше багов — агент или человек? Мои замеры 11 недель работы с AI-тестировщиком
Одиннадцать недель я вёл дневник каждой рабочей сессии с Claude Code: часы агента, свои часы, судьба каждого кандидата в дефекты. Вышло 277 агентски…
Хватит считать токены: почему KPI в эпоху ИИ превратились в фикцию
Каждые несколько лет индустрия придумывает новую единицу продуктивности. Строки кода. Коммиты. Пул-реквесты. Теперь - токены. Схема одна: берём то,…
Когда Ansible‑автоматизации становится много: разбираем Automation Dashboard в Astra Automation 2.1
В небольшой инфраструктуре автоматизация обычно не требует отдельного контроля. Есть несколько playbook’ов для типовых операций: развернуть сервис,…
Правда ли, что медицинский ИИ точнее врачей? Наш фреймворк помогает это выяснить
Привет, Хабр! Меня зовут Илья Копаничук, я старший научный сотрудник лаборатории «Сильный ИИ в медицине» AIRI. Мы с коллегами создаём ИИ‑и…
Ежедневный ряд подписчиков в MAX: публичный эндпоинт, четыре грабли и почему not_found — не измерение
У мессенджера MAX нет публичного API со статистикой каналов. Числа есть у каталогов-агрегаторов, но они чужие и заморожены с 10 июля. Нам нужен был…
Prometheus и VictoriaMetrics: почему одни и те же метрики могут занимать в 139 раз больше места
Меня зовут Стас Погоржельский, я технологический евангелист VK Cloud и последние месяцы гоняю Prometheus и VictoriaMetrics на одном стенде, чтобы по…
Кто на самом деле сломал вашего ИИ-агента: модель или обвязка?
Когда агент в проде ошибается, спор идёт по кругу: модель тупит, промпт кривой, API виноват. Свежая работа Scale AI даёт отказам адрес — ребро между…
Почему одинаковые показатели в разных отчётах не совпадают
Два отчёта показывают один показатель за один период. Название одинаковое, подразделение выбрано одно и то же, но значения различаются. В этот момен…
Как превратить бизнес-вопрос в набор показателей
Бизнес-вопрос редко звучит как готовая аналитическая задача. Руководитель может спросить: «Какие подразделения требуют внимания?», «Пользуются ли пр…
1.5 миллиона событий в день и ни одной таблицы events: как мы считали продуктовую аналитику 300K-бота по голому проду
Маркетолог прислал мне скрин дашборда и одно слово: «пусто». На скрине — панель «Количество пришедших по реферальной ссылке за период». Ноль. Под не…
Написал детектор ИИ-текста на 13 правил и прогнал 59 своих статей: сумма баллов не забраковала ни одну
Площадки перестали пускать машинный текст самотёком. Habr проверяет публикации автоматически, а Кевин Индиг пишет о том, что платформы строят anti-s…
От MTTD и MTTR к реальной ценности: как навести порядок в метриках SOC
Что можно выжать из базовых метрик SOC, если у тебя лапки Многие руководители начинают день с дашбордов и красивых «бубликов». На них традиционно го…
Затоваренность рынка новостроек: две независимые метрики вместо одной — расчёт по 14 миллионникам
Весь каталог новостроек Омска — 1 094 квартиры на 51 жилой комплекс, в среднем 21 лот на проект. В Краснодаре средний проект тянет под четыре сотни…
Соревнование замерло 16 августа, а таблица поехала дальше. Разбираю, что из этого настоящее
Я полез в данные соревнования Pokemon TCG AI Battle посмотреть, кто там выигрывает, и залип на другом. На публичной таблице 6806 команд. Самая поздн…
Цена, которой не существовало: две недели поиска бага, который не видел мониторинг
Есть класс ошибок, которые невозможно найти простой сверкой. Не потому, что данные хорошо спрятаны, а потому, что искомого состояния нет ни в одной…
Как мониторить Java-приложения: метрики, алерты и правило 80/20
Хороший мониторинг помогает быстро понять, что происходит с приложением и куда смотреть в первую очередь. Для этого не нужно пытаться измерить всё:…