RU

Методология оптимизации игр, или как 3 дня работы над тестовым стендом дало больше FPS, чем месяц написания кода

Я работал месяц над переписыванием физического движка и оптимизацией отрисовки и получил ошибочный успех. Спустя несколько месяцев я вернулся с друг…

godottestingoptimizationоптимизациятестированиеразработка игрклиентская оптимизацияисследованиеавтоматизация тестированияавтоматизированное тестирование
Habr
RU

Как ускорить ручное тестирование интеграций с RabbitMQ с помощью библиотеки pika

Чаще всего для ручного тестирования интеграций с RabbitMQ используют UI-клиент. Но не всегда это удобно и позволяет тестировать быстро, особенно ког…

rabbitmqpythonтестированиетестирование веб-приложенийскриптыpika
Habr
RU

Где заканчивается самостоятельность ИИ-агента? Я дал ему банковскую карту, телефон, браузер и 200+ MCP: итоги теста

ИИ-агент купил мне авиабилет, накопил годовой запас кофе и попал в чёрный список ресторанов. Я дал ему банковскую карту, телефон, браузер и доступ к…

ИИ-агентыавтономные агентыLLMлокальные моделилокальный инференсopen sourcemacOSавтоматизациятестированиеMCP
Habr
RU

За наждачкой к ИИ: как технологии решают проблемы

Абразивные материалы — обязательный инструмент в хозяйстве домовладельцев: с их помощью шлифуют дерево, зачищают металл и приводят в порядок поверхн…

промышленностьискусственный интеллектабразивстартапстартап-акселераторакселераторыстуденты-партнёрынтитестированиепрототипирование
Habr
RU

[Перевод] Как, на мой взгляд, должна выглядеть самая лучшая стандартная библиотека на C++

Не секрет (для тех, кто меня читает), что мои вкусы в области языков программирования весьма странные как для энтузиаста, т…

С++Rustтестированиерефлексиястандартная библиотека
Habr
RU

Все 179 ответов были SURE. Четыре из них не прошли тесты

Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке зар…

LLMPythonгенерация кодасамооценкаскрытые тестытестирование
Habr
RU

Gauntlet Loop — величайшее заклинание в мире маглов

Привет, Хабр! Сегодня я расскажу о том, как пользователю ИИ, далекому от профессионального проектирования полиагентных систем, получать результаты,…

сезон Код будущегоразработка с ИИChatGPTCodexGauntlet Loopтестированиеинтерактивные лекцииHTMLJavaScriptлинейная алгебра
Habr
RU

Первый RAG комом: как мы учились анализировать ошибки автотестов с помощью LLM

Привет! Меня зовут Алексей, я автотестер в hh.ru . У нас около 3000 запускаемых классов с e2e (UI) тестами на Java. Они прогоняются по несколько раз…

ragавтотестыавтотестированиеllmтестированиеqa automationqa engineerqa automation engineerавтоматизация
Habr
RU

Полгода не пишем код руками. Посчитал, что стало с багами

Меня зовут Игорь Симаков, я тимлид, руковожу двумя командами. Это две классические продуктовые команды, в которых есть все, кто нужен для полного ци…

тестированиеqaai-агентымониторингdoraбаги на продемутационное тестированиеclaude codeсезон код будущего
Habr
RU

Как мы тестируем автопилот для тракторов и комбайнов: HIL-стенды, симулятор на Unreal Engine 5 и реальное поле

Я руковожу отделом тестирования роботизированных систем в Cognitive Pilot. В этой статье расскажу, как устроено тестирование автопилота для сельхозт…

тестированиеавтономные системыHILUnreal EngineCANAppiumсельское хозяйствобеспилотная техника
Хабр — Управление
RU

«Ты senior Python-разработчик» сделал агента хуже: проверил 7 популярных приписок к промптам

Чаевые, «меня уволят», «ты senior Python-разработчик», «подумай как следует», ultrathink. Проверил народные приписки на кодинг-агенте: пять задач, с…

промптыпромпт-инжинирингкодинг-агентыClaude CodeLLMчаевыеultrathinkтестирование
Habr
RU

AI-агент сказал «готово». Как проверить, что он действительно сделал работу

Привет 👋 Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделыва…

ai-агентыоценка качестватестированиеавтоматизацияllm
Habr
RU

Haiku поставила PASS и указала существенную ошибку: как мы разбирали отчет ревью

При проверке десяти статей Haiku совместила PASS и замечание major. Разобрали отчет по исходникам: что исправили, что отклонили и какого контекста н…

LLMпроверка текстовClaudeтестированиекачество кода
Habr
RU

Что проверить в админке: шесть уроков промышленной визуализации

График скрывает выброс, старые показания выглядят свежими, а «Готово» означает только принятую команду. Шесть проверок для внутренних интерфейсов и…

дашбордыинтерфейсывизуализация данныхSCADAHMIUXтестирование
Habr
RU

МАЯК: сначала документация, потом кнопки

Я собрал конвейер «ТЗ → канонизация → тест-дизайн → прогон» из 58 специализированных блоков с гейтами доверия: каждый критерий приёмки заземляется ц…

llmмультиагентытестированиетест-пландокументациятребованияqa
Habr
RU

Чему нас научил взаимный перенос тестов между Pii-Mask и его форком

Автор форка Pii-Mask добавил исправления и тесты обработки Word и Excel. На нашей версии 13 его тестов не прошли. Покажу один найденный пропуск и ра…

тестированиеpii-maskopen sourceрегрессионное тестированиеперсональные данные
Habr
RU

Надёжное программирование: от кода к технологии

Целевая аудитория:  Разработка и инженерия; Управление; AI и ML Хабы:  Искусственный интеллект; Машинное обучение; Тестирование; Программи…

оракульное смещениепроблема оракулаLLM-ассистентгенерация кодаDORAVeracodeFormAIтестированиетехнический долгдоверие к коду
Habr
RU

Мировой кризис качества ПО: все правда так плохо?

Однажды после обновления Windows я решил, что у меня сгорел компьютер: системный блок подавал признаки жизни, но на мониторе — черный экран, клавиат…

тестированиеqa testingqa automationqaиивайбкодингтрендыпрограммное обеспечениекачество покачество кода
Habr
RU

Как мы проверяем, какие данные остаются в тексте после маскировки перед LLM

После маскировки ФИО в тексте может остаться номер, по которому человека найдут в открытом реестре. На восьми искусственных примерах проверим остатк…

маскировка данныхpii-maskLLMтестированиеперсональные данные
Habr
RU

Приниматоры решений: бенчмарк на русском для Jev-style моделей

Последние пару лет мы довольно странно используем большие языковые модели. Из-за их умения делать всё мы пытаемся решить с их помощью всё — роутинг…

jevfridadecision modelsLLMагентыбольшие языковые моделибенчмарктестированиеbenchmark
Habr
RU

Рутину — в скилл, ошибку — в правило. Как я сделал QA-конвейер из скиллов

Всем привет! Меня зовут Костя, я QA-инженер в Банки.ру. Общение с агентом у меня давно стало обыденным делом. И в какой-то момент я заметил, чт…

claude codeagent skillsскиллыai-агентытестированиеqaавтоматизация
Habr
RU

«Тест зелёный, а оборотка не сходится»: пять багов в 1С, которые легко пропустить без знания бухучёта

Документ провёлся. Ошибок в коде нет. Тест зелёный. Открываю оборотно-сальдовую ведомость по 19-му счёту — и вижу, что часть НДС оказалась на 91-м.…

1стестированиеqaбухгалтерский учет1c предприятие1с бухгалтериясубконтопроводкирегистрыozon tech
Habr
RU

Тест проходит даже с багом: что показал эксперимент Дэна Лу

Агент проверял разворот на палиндроме, а порядок четырех потоков - на четырех одинаковых входах. Тесты проходили и с ошибкой. В эксперименте Дэна Лу…

кодовые агентытестированиеTDDproperty-based testingформальные методыClaude CodeCodexspec-driven development
Habr
RU

Зачем я запускаю smoke‑тесты прямо в production и как они однажды сломали мне аналитику

Что будет, если production smoke-тесты начнут вести себя почти как настоящие пользователи? В статье рассказываю, зачем я запускаю автоматические про…

автотестытестированиеавтоматизациятестирование сайтовтестирование веб-приложенийтестирование производительностиsmoke-тестированиеsmoke testssmokesmoke тесты
Habr
RU

Зелёный пайплайн ничего не доказывает. Семь способов, которыми quality gate пропускает брак в прод

if roc_auc < 0.85: exit 1 — примерно так выглядит quality gate почти в каждом ML-пайплайне, который мне попадался. В обычном CI то же самое — кол…

qualitygatesquality gatedevopscimlopsмашинное обучениетестированиекачество кодавалидация моделейruvds_статьи
Habr
RU

[Перевод] Пусть агент сам докажет, что написанные им тесты можно не пройти

Агент пишет патч, пишет для него тесты, выполняет их и сообщает об успехе. Дифф выглядит здраво. Итак, у нас есть реализация, файл с тестом, и прове…

анализ и проектирование системтестированиеискусственный интеллект
Habr
RU

Сканер 152-ФЗ выписал нарушения Госуслугам, РЖД и Т‑Банку. Разбираем как так вышло

Ошибка линтера стоит пяти минут. Ошибка сканера, который проверяет сайты на соответствие 152-ФЗ, выглядит иначе: «ваш сайт нарушает закон»…

152-ФЗперсональные данныеРоскомнадзорложные срабатыванияPlaywrightвеб-сканеркачество данныхантибот-защитатестированиеPython
Habr