Testing & QA

Последние новости Testing & QA от Tech News

Все темы agents ai api architecture automation backend beginners career claude cybersecurity devchallenge devops discuss javascript llm machinelearning mcp node opensource performance productivity programming python security showdev softwareengineering testing tutorial typescript webdev
Все EN RU
RU

Я написал 61 тест для AI-ментора. Потом выяснилось, что тестам тоже нельзя верить

Репетитора не нанимают по резюме. Ему дают тетрадь реального ученика и смотрят не на то, знает ли он ответ, а на то, где он остановится. Подскажет,…

llmai-ментортестирование llmоценка llmdeepseekyandex ai studioprompt injectionragreasoning_effortgo
Habr
RU

«Агент тупит» — это диагноз инструкции, а не модели

Год работы с ИИ-агентом на потоке отучил меня от фразы «модель поглупела». Почти всё, что выглядит тупостью или галлюцинациями, раскладывается на тр…

сезон код будущегоии-агентыclaude codeпромпт-инжинирингllmкачество кодаавтотестыprompt injectionlow-code
Habr
RU

От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне

Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие…

mcpModel Context ProtocolИИ-агентыискусственный интеллектLLMtravel-techAPIprompt injectionхакатонТуту
Habr
RU

Как защититься от AI-атак и промт-инъекций: мой рецепт барьера

Осенью 2025 исследователи показали: достаточно попросить AI-браузер «суммаризируй страницу» на подготовленном сайте — и агент вместо пересказа лезет…

промт-инъекцииprompt injectionAI-агентыclaude codeбезопасность ИИнейросетиAI-браузерывайбкодингvibecodingмаркетинг
Habr
RU

FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных

Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только…

LLMprompt injectionбезопасностьискусственный интеллектмашинное обучениенейронные сетиинформационная безопасностьбезопасность llm
Habr
RU

Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка

Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный…

ai securityllm securityии-агентыбезопасность иихарнессdeepseekpaper-to-pochermesprompt injectionappsec
Habr
RU

Самая опасная уязвимость — интеллект атакующего агента?

Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия аг…

ai securityllm securityавтономные агентыai agentsинформационная безопасностьthreat modelingtaxonomiesprompt injectiongoal hijackingmitre attack
Habr
RU

416 тестов и кнопка «снести все»: где ломаются агентные проекты

С февраля у меня на ноутбуке крутится автономный агент Сурок: Claude Code, флаг --dangerously-skip-permissions и ральф-луп поверх. Работает — сидишь…

ИИ-агентыLLMагентный харнессClaude Codeprompt injectionэвалыавтономия агентоврегресс-тестыAI-DISRUPT PDLCинженерные практики
Habr
RU

Prompt injection нельзя запатчить: год «летальной триады» и лента CVE 2026 года

В марте 2026-го бэкдор пролежал на PyPI около трёх часов. За это время заражённый пакет скачали почти 47 тысяч раз. Пакет назывался LiteLLM — это шл…

prompt injectionИИ-агентыLLMинформационная безопасностьлетальная триадаOWASPEchoLeakCaMeLagentic AIMCP
Habr
RU

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw с…

тестирование ИИagent evaluationQwen3.5файнтюнингDevOps-агентLLMбезопасность ИИprompt injectionOllamaLLM safety.
Habr