RU

ИИ-агент вместо тестировщика: 20 копеек за диалог и причина, почему вас не заменит llm

Привет, Хабр! Меня зовут Никита Хробостов, я QA-инженер в Just AI. Тестирую диалоговые системы: чат-ботов и голосовых ботов, часть из них с обращени…

llmтестированиеqaавтоматизация тестированиячат-ботыголосовые ботыnlullm-as-a-judgecodex
Habr
RU

Мы собрали харнесс из ИИ-агентов — и главной ролью в нём оказалась роль тестировщика

Полгода назад в нашем продукте был один автотест. Сейчас их 878, и заметная часть написана командой ИИ-агентов. Рассказываю, как устроен харнесс из…

qaавтотестыии агентыllmавтоматизация тестированияappium
Habr
RU

Масштабирование от 100 до 100 000+ автотестов: архитектура и инструменты

Масштабирование автотестов — закономерный этап развития любого растущего проекта. С увеличением количества автотестов меняются требования к архитект…

Автоматизация тестированияТестированиетестирование потестирование веб-приложенийqaqa automationtmsflaky testsopenapiozon tech
Habr
RU

Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge

В 2024 году исследователи провели простой эксперимент: взяли тесты с вариантами ответа и начали менять варианты местами. Сами вопросы и со…

оценка качества llmтестирование llmllm evaluationai-агентыqaqa automation engineerllm-as-a-judgeтестирование RAGметрики LLMрегрессионное тестирование
Habr
RU

Красное не мёржим: как мы внедрили e2e тесты в разработку

Можно ли сделать e2e тесты мощным инструментом раннего отлова багов, не потопив при этом CI и не всем не разругавшись? Рассказываю, через…

shiftleftтестированиеquality gatesreact nativee2ee2e тестированиеe2e-тестыqa automationqa
Habr
RU

Данные без противоречий. Связи между полями

Привет! Сейчас покажу штуку, которую я довольно долго доводил до ума, и мне кажется, она может пригодиться не только мне. Задача звучит скучно: наге…

фикстурыfakerdslтестированиегенератордетерминизмopensourceавтотестыqaзависимости
Habr
RU

Группировка ошибок и анализ причин падений (RCA) с помощью ИИ

Последние годы стали серьёзным испытанием для тестирования. Нейросети существенно ускорили разработку кода: интеграция ИИ-помощников в IDE позволила…

qaautomationтестированиеавтоматизациянейросетиии в тестированииplaywrightallurerca
Habr
RU

Мы делили апельсин: как связать ручное и автоматизированное тестирование в единую систему качества

Под «апельсином» в этой статье будем понимать не качество продукта целиком, а тот контур функциональной проверки, в котором пере…

менеджменттестированиеqaавтоматизированное тестированиеручное тестированиепроцессы
Хабр — Управление
RU

ИИ-агент в тестировании: почему сильный результат рождается не из промпта, а из инженерного контура

Почему убедительный отчёт ИИ-агента ещё не равен доказанной приёмке — и как собрать контур из критериев, API/DB/UI-проверок и границ ответственности…

тестированиеqaии-агентентное тестированиеприёмкатест-дизайнавтоматизация тестированияLLMReActкачество по
Хабр — Управление
RU

Фиксатон VK: как мы за три дня обработали 1500 багов в 12 продуктах и довели 420 фиксов до прода

Привет, Хабр! Я Оля Шишенина, отвечаю за обучение и развитие сотрудников VK. Хочу рассказать про внутреннее мероприятие для инженеров, которое мы пр…

багфиксхакатонбагатонфиксатонисправление баговисправление ошибокmobilebackendfrontendqa
Habr
RU

Как QA я все равно пишу документацию, но с ИИ трачу на нее часы, а не дни

В статье я расскажу, как решал проблемы погружения в проект сначала вручную, а потом с помощью ИИ-инструментов и как мне удалось сократить путь от д…

тестированиеqaragискусственный интеллектдокументация
Habr
RU

AI-агент для анализа требований в финтехе: собираем контекст и находим проблемы до разработки

В прошлой статье мы подробно разбирали, как автоматизировать создание чек-листов и ускорить рутинные проверки с помощью нейросетей. Эта практика отл…

qaтестированиеанализ требованийai-агентыllmпромт-инжинирингфинтехjiraconfluencecodex
Habr
RU

Тестирование изменилось навсегда — Перспективные MCP для QA

В этой статье я расскажу тебе про перспективные подходы в использовании MCP связок для решения задач в области автоматизации тестирования,&nbsp…

mcpllmии-агентытестированиеавтоматизация тестированияqaclaude codemodel context protocolplaywrightautomation
Habr
RU

Origami Framework: автоматизация тестирования на Java

Origami Framework — фреймворк для автоматизации тестирования на Java, созданный с целью упрощения построения тестовой архитектуры и ускорения процес…

origami frameworkjavaтестированиеqaautotestingавтоматизация тестированияtestingtest automationфреймворкsoftware testing
Habr
RU

Лучшие токены – те, которые вы не потратили: анатомия жадного LLM-бота

При анализе кода с помощью LLM всегда есть соблазн закинуть в модель всё сразу — и пусть сама разбирается. Но на больших объёмах кода стоимость и вр…

sonarqubellmjavapythonkotlinпокрытие кодапокрытие тестамиqa automationqaqa testing
Habr
RU

Я запретил Claude говорить «всё работает» без пруфов. Это изменило всё

Пару месяцев назад я попросил агента проверить форму обратной связи после рефакторинга. Через несколько минут получил отчёт: все проверки пройдены,…

qaplaywrightclaude codellmавтоматизация тестированиятест-дизайн
Habr
RU

Чек-лист тестирования поисковой системы: от engine sanity до RAG и графов знаний

Чек-лист для тестирования поисковых и RAG-систем — от базовой работоспособности поискового движка до качества генерации, агентных сценариев и поведе…

поисковые системытестирование поискаllmragвекторный поискqa
Habr
RU

Внедрение цифрового рубля: что протестировать уже сейчас, чтобы избежать сбоев и не напороться на штрафы

Я плотно работаю с финтехом и ритейлом, а это как раз те сферы, где грядёт подключение к платформе цифрового рубля. Готовиться начал заранее, так ка…

Тестированиецифровой рубльфинтехибкомплаенснагрузочное тестированиетестирование платёжных сценариевинтеграционное тестированиесмарт-контрактыqa
Habr
RU

Как мы научили AI разбирать упавшие автотесты и заводить баги в Трекере

Всем привет, меня зовут Олег. В прошлой статье я рассказывал, как генерить автотесты из Swagger и тест-кейсов при помощи OpenAPI Generator + Cursor…

вкусвиллавтотестыqaaiискусственный интеллектswaggertestopsяндекс трекерcursor aiclaude
Habr
RU

Мобильное тестирование в 2026: от истоков к трендам

Какова ситуация в мобильном тестировании в 2026-м году? На связи Ильнур – ведущий тестировщик: начал свой путь в ИТ 10 лет назад как специалист техн…

qaqa mobileqa automationaishift-leftlow-codeтестированиеискусственный интеллектмобильная разработкамобильное тестирование
Habr
RU

Начинающему тестировщику: список инструментов, которые пригодятся в работе

Привет! Меня зовут Елена Поплоухина. Я отвечаю за развитие сообщества тестировщиков в ГК «Юзтех». В этой статье я хочу поделиться набором инструмент…

тестированиеqaqa testingручное тестированиеmanual testing
Habr
RU

Плагины в Go-автотестах: как вынести инфраструктуру за пределы тестов

Почему отчётность, статистика и логирование в Go-автотестах превращаются в костыли — и как плагинная модель позволяет вынести инфраструктуру за пред…

gogolangqaqa automationtest frameworktest automationgo testавтотестыallureallure report
Habr
RU

Путь нагрузочного тестирования или почему я создал свой софт по нагрузке

Всех приветсвую! В данной статье я не буду пояснять какие-то сложные вещи касательно нагрузочного тестирования. Просто хочется поделится своей болью…

perfscaleperformance testsperformanceperformance testingload testingload qaqaqa automationqa testingqa management
Habr
RU

Группировка ошибок вручную и автоматически, или чем тестировщику занять своё время

40-60% времени современных QA-команд тратится на диагностику сбоев в тестах . Эта проблема настолько серьёзна, что сейчас активно разрабатываются пр…

тестированиеqaавтоматизацияjunitallureseleniumотчёты об ошибкахтриажанализ ошибок
Habr
RU

Как правильно писать WebSocket API автотесты на Python

На примере FastAPI-чата показываю, как выстроить автотесты для API с двумя транспортами: REST используется для подготовки состояния, WebSocket — для…

qaqa automationpythonwebsocketwebsocket apiавтотестыавтотестированиелучшие практикиcicdallure
Habr
RU

Процессы vs инструменты: как Авито Sales строит QA с нулевыми сдвигами сроков

Привет, Хабр! На связи Екатерина Серикова и Глеб Дмитриев , мы QA-инженеры в команде Авито Sales. В этой статье мы расскажем, как выстроили процесс…

qaпроцессы тестированияпроцесс разработкитестирование поsdlcqa engineerавтотестыAPI-тестыshift leftуправление качеством
Habr