Тестирование LLM‑фичи: можно ли верить своему eval
Eval показывает 96% качества, тесты проходят, а после релиза LLM‑ассистент допускает критическую ошибку. Проблема может скрываться в самой…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Регрессионное тестирование промптов: ИИ-модель в роли читателя пропустила три из четырёх текстов, которые я правил
Я правлю промпты агентов, которые пишут и проверяют тексты. Чтобы правка не сломала то, что раньше работало, я собрал набор примеров с известным отв…
Переезд с Leaflet на MapLibre: детектив про один рывок и 251 маршрут, проверенный байт в байт
История начинается с самой неблагодарной формулировки бага, какая бывает: а какая именно, мне пришлось в этом поковыряться. Читать далее
Чему нас научил взаимный перенос тестов между Pii-Mask и его форком
Автор форка Pii-Mask добавил исправления и тесты обработки Word и Excel. На нашей версии 13 его тестов не прошли. Покажу один найденный пропуск и ра…
Как разработать шаблон дашборда для разных подразделений
В одном из BI-проектов мы собирали управленческую аналитику для крупной образовательной организации. В одном контуре должны были работать данные о к…
Регрессионное тестирование в Scrum: от прогона перед релизом к управлению риском
В двухнедельном спринте регрессия часто превращается в лотерею: фичи доделывают до последнего дня, полный прогон не помещается в окно, а красному CI…
Как оценивать качество LLM, RAG и AI‑агентов: метрики, тестирование и LLM‑as‑a‑Judge
В 2024 году исследователи провели простой эксперимент: взяли тесты с вариантами ответа и начали менять варианты местами. Сами вопросы и со…
Универсальный подход к регрессионному тестированию микросервисов: интеграция Postman, Newman и Python в Jenkins
Привет всем заглянувшим! В этой статье я поделюсь опытом автоматизации API‑тестирования связкой Postman + Newman, но с небольшим «сек…
Ошибка в расчёте скидки, которую не видно глазами: проверяем ответ API по документации, когда автотестов нет
Есть класс ошибок, которые проходят все ручные проверки и спокойно доезжают до продакшена. Не пятисотки, не пустые поля, не слом…
Как мы построили систему регрессионного UI-тестирования для iOS-приложения: XCUITest, mock backend и XcodeBuildMCP
По мере роста UI-регрессии сложнее всего становится управлять не тестами, а их окружением: состоянием приложения, ответами backend и воспроизводимос…
[Перевод] Мы дали ИИ написать код и тесты: что обнаружило мутационное тестирование
AI-агент самостоятельно создавал приложение и по ходу работы покрывал его тестами, а качество кода оценивали автоматические проверки. На первый взгл…
Как приоритизировать регрессионные проверки, когда сжаты сроки релиза
Когда до релиза остаётся день, а полная регрессия занимает три, тестировать «самое важное» уже недостаточно. Нужно быстро понять, как…
Ты QA и у тебя баги. Какие из них блокируют релиз?
Пятница, до релиза осталось два часа, а на финальной проверке всплывают баги: зависание после оплаты, профиль без обязательного…
Разбираемся в многообразии видов тестирования
Когда начинаешь погружаться в тестирование, создается ощущение, что видов этого самого тестирования десятки, если не сотни, и все они постоянно испо…
Без рук: автоматизируем нагрузочное тестирование изменений в CI
Нагрузочное тестирование — одна из самых избегаемых тем, когда речь заходит о контроле качества ПО. Корпорации, конечно, не обходят его стороной, но…