RU

Регрессионное тестирование в Scrum: от прогона перед релизом к управлению риском

В двухнедельном спринте регрессия часто превращается в лотерею: фичи доделывают до последнего дня, полный прогон не помещается в окно, а красному CI…

тестированиерегрессиярегрессионное тестированиетестировщикрискиscrumagileуправление разработкой
Habr
RU

Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge

В 2024 году исследователи провели простой эксперимент: взяли тесты с вариантами ответа и начали менять варианты местами. Сами вопросы и со…

оценка качества llmтестирование llmllm evaluationai-агентыqaqa automation engineerllm-as-a-judgeтестирование RAGметрики LLMрегрессионное тестирование
Habr
RU

Универсальный подход к регрессионному тестированию микросервисов: интеграция Postman, Newman и Python в Jenkins

Привет всем заглянувшим! В этой статье я поделюсь опытом автоматизации API‑тестирования связкой Postman + Newman, но с небольшим «сек…

postmannewmanjenkinspythonавтоматизация тестированияapi тестированиерегрессионное тестированиеjenkins ciallure jenkins pluginallure report
Habr
RU

Ошибка в расчёте скидки, которую не видно глазами: проверяем ответ API по документации, когда автотестов нет

Есть класс ошибок, которые проходят все ручные проверки и спокойно доезжают до продакшена. Не пятисотки, не пустые поля, не слом…

тестирование apiпроверка ответовjsonвалидация данныхручное тестированиетест-кейсылогиelasticsearchбизнес-логикарегрессионное тестирование
Habr
RU

Как мы построили систему регрессионного UI-тестирования для iOS-приложения: XCUITest, mock backend и XcodeBuildMCP

По мере роста UI-регрессии сложнее всего становится управлять не тестами, а их окружением: состоянием приложения, ответами backend и воспроизводимос…

iOSSwiftXCUITestUI-тестированиерегрессионное тестированиеавтоматизация тестированияmock backendXcodeBuildMCPИИ-агентыiOS Simulator
Habr
RU

[Перевод] Мы дали ИИ написать код и тесты: что обнаружило мутационное тестирование

AI-агент самостоятельно создавал приложение и по ходу работы покрывал его тестами, а качество кода оценивали автоматические проверки. На первый взгл…

мутационное тестированиеИИ-агентыгенерация тестовкачество кодасопровождаемостьстатический анализESLintStrykerрегрессионное тестированиеархитектура кода
Habr
RU

Как приоритизировать регрессионные проверки, когда сжаты сроки релиза

Когда до релиза остаётся день, а полная регрессия занимает три, тестировать «самое важное» уже недостаточно. Нужно быстро понять, как…

регрессионное тестированиерегрессияприоритизация тестовQAтест-кейсырелиздефектыриск-ориентированное тестированиеавтотестыпокрытие тестами
Habr
RU

Ты QA и у тебя баги. Какие из них блокируют релиз?

Пятница, до релиза осталось два часа, а на финальной проверке всплывают баги: зависание после оплаты, профиль без обязательного…

QAтестированиерелизбагикритичность дефектовблокеррегрессионное тестированиеоценка рисковкачество продуктаручное тестирование
Habr
RU

Разбираемся в многообразии видов тестирования

Когда начинаешь погружаться в тестирование, создается ощущение, что видов этого самого тестирования десятки, если не сотни, и все они постоянно испо…

selectelтестированиеqaрегрессионное тестированиеsmoke-тестированиеисследовательское тестированиетестирование на продетеория тестированиядля начинающих
Habr
RU

Без рук: автоматизируем нагрузочное тестирование изменений в CI

Нагрузочное тестирование — одна из самых избегаемых тем, когда речь заходит о контроле качества ПО. Корпорации, конечно, не обходят его стороной, но…

нагрузочное тестированиерегрессионное тестированиеlocustdevopslocomotivepythongithub actionsperformance testingci-cdпроизводительность