RU

ИИ-агент вместо тестировщика: 20 копеек за диалог и причина, почему вас не заменит llm

Привет, Хабр! Меня зовут Никита Хробостов, я QA-инженер в Just AI. Тестирую диалоговые системы: чат-ботов и голосовых ботов, часть из них с обращени…

llmтестированиеqaавтоматизация тестированиячат-ботыголосовые ботыnlullm-as-a-judgecodex
Habr
RU

Мы собрали харнесс из ИИ-агентов — и главной ролью в нём оказалась роль тестировщика

Полгода назад в нашем продукте был один автотест. Сейчас их 878, и заметная часть написана командой ИИ-агентов. Рассказываю, как устроен харнесс из…

qaавтотестыии агентыllmавтоматизация тестированияappium
Habr
RU

Масштабирование от 100 до 100 000+ автотестов: архитектура и инструменты

Масштабирование автотестов — закономерный этап развития любого растущего проекта. С увеличением количества автотестов меняются требования к архитект…

Автоматизация тестированияТестированиетестирование потестирование веб-приложенийqaqa automationtmsflaky testsopenapiozon tech
Habr
RU

Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge

В 2024 году исследователи провели простой эксперимент: взяли тесты с вариантами ответа и начали менять варианты местами. Сами вопросы и со…

оценка качества llmтестирование llmllm evaluationai-агентыqaqa automation engineerllm-as-a-judgeтестирование RAGметрики LLMрегрессионное тестирование
Habr
RU

Красное не мёржим: как мы внедрили e2e тесты в разработку

Можно ли сделать e2e тесты мощным инструментом раннего отлова багов, не потопив при этом CI и не всем не разругавшись? Рассказываю, через…

shiftleftтестированиеquality gatesreact nativee2ee2e тестированиеe2e-тестыqa automationqa
Habr
RU

Данные без противоречий. Связи между полями

Привет! Сейчас покажу штуку, которую я довольно долго доводил до ума, и мне кажется, она может пригодиться не только мне. Задача звучит скучно: наге…

фикстурыfakerdslтестированиегенератордетерминизмopensourceавтотестыqaзависимости
Habr
RU

Группировка ошибок и анализ причин падений (RCA) с помощью ИИ

Последние годы стали серьёзным испытанием для тестирования. Нейросети существенно ускорили разработку кода: интеграция ИИ-помощников в IDE позволила…

qaautomationтестированиеавтоматизациянейросетиии в тестированииplaywrightallurerca
Habr
RU

Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества

Под «апельсином» в этой статье будем понимать не качество продукта целиком, а тот контур функциональной проверки, в котором пере…

менеджменттестированиеqaавтоматизированное тестированиеручное тестированиепроцессы
Хабр — Управление
EN

All software engineers are now QAs

At the start of June 2026, Anthropic published a statistic that was controversial. Most of what Anthropic says publicly generates a large number of…

qaaicoding
Dev.to
RU

ИИ-агент в тестировании: почему сильный результат рождается не из промпта, а из инженерного контура

Почему убедительный отчёт ИИ-агента ещё не равен доказанной приёмке — и как собрать контур из критериев, API/DB/UI-проверок и границ ответственности…

тестированиеqaии-агентентное тестированиеприёмкатест-дизайнавтоматизация тестированияLLMReActкачество по
Хабр — Управление
RU

Фиксатон VK: как мы за три дня обработали 1500 багов в 12 продуктах и довели 420 фиксов до прода

Привет, Хабр! Я Оля Шишенина, отвечаю за обучение и развитие сотрудников VK. Хочу рассказать про внутреннее мероприятие для инженеров, которое мы пр…

багфиксхакатонбагатонфиксатонисправление баговисправление ошибокmobilebackendfrontendqa
Habr