Впервые человек атаковал суд через prompt injection для ИИ
Однажды американский гражданин решил обратиться в суд, однако денег на судебные разбирательства у него не было, а желание судиться было очень большо…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
тестирование
управление проектами
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных
Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только…
Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка
Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный…
Zero Trust для ИИ-агентов: почему отдельной идентичности недостаточно
Привет, Хабр! Меня зовут Денис Корбаков, я технический директор «Смарт-Софт». Мы разрабатываем NGFW и регулярно разбираем, какие сетевые события мож…
Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать
Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработ…
[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes
Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разр…
Самая опасная уязвимость — интеллект атакующего агента?
Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия аг…
Внутри ИИ‑Напарника: как работает оркестр агентов в ритейле
Всем привет! Это Алексей из GlowByte. В прошлой статье я говорил о том, почему категорийный менеджер в большой сети часто чувств…
Prompt injection — лучше один раз увидеть
В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалил…
416 тестов и кнопка «снести все»: где ломаются агентные проекты
С февраля у меня на ноутбуке крутится автономный агент Сурок: Claude Code, флаг --dangerously-skip-permissions и ральф-луп поверх. Работает — сидишь…
Prompt injection не чинится фильтром. Разбираем архитектуру, которая изолирует недоверенный текст
Языковая модель пишет двадцать пар «вопрос и ответ» для карточки товара меньше чем за минуту. Проблема начинается после. Чтобы ответы были верными,…
Поймай jailbreak, если сможешь
«Люди понимают то, что им дают понять», — говорил Фрэнк Абигнейл. Модели — тоже. Статья о том, как jailbreak обходит защиту LLM не силой, а формой:…
Агенты удаляют файлы, сливают данные и сами себя взламывают: как устроена безопасность ИИ‑систем в 2026 году
Привет, Хабр! Тема искусственного интеллекта за последние несколько лет набили, честно говоря, оскомину. Есть как защитники, так и противн…
Двойная жизнь LLM
Привет! Меня зовут Евгений, я специалист по безопасности приложений в Naumen. Моя работа — поиск и устранение уязвимостей в продуктах и инфраструкту…
Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM
Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в&n…
Иллюзия контроля: почему промпты не защищают ИИ‑агентов
Почему указание вида «не отправляй конфиденциальные данные наружу» не работает? Разбираем уязвимость Permission Boundary Bypass, а также т…
Как сделать MCP-сервер из Spring-сервиса за один вечер. И что потом не даст спать спокойно
AI‑агенту не нужен прямой доступ к базе, чтобы отвечать на вопросы оператора или вызывать действия в системе. Достаточно да…
Сайты под управлением ИИ: как это работает под капотом. Часть 2 из 3
Сайты под управлением ИИ: что это на самом деле и сколько стоит. Часть 1 Это вторая часть из трёх. В первой мы разбирались с концепцией: что такое с…
Скачал skills по совету из YouTube — слил все свои данные. Как это работает?
Представьте: вы посмотрели ролик на YouTube о том, как настроить ИИ‑ассистента для работы. Автор советует поставить пару‑тройку…
Prompt injection нельзя запатчить: год «летальной триады» и лента CVE 2026 года
В марте 2026-го бэкдор пролежал на PyPI около трёх часов. За это время заражённый пакет скачали почти 47 тысяч раз. Пакет назывался LiteLLM — это шл…
Как мы автоматизировали мониторинг цен конкурентов: мультиагентная система на CrewAI + n8n + Firecrawl
0. TL;DR для тех, кто спешит Статья о том, как собрать из подручных open-source инструментов систему, которая ежедневно: — Сканирует цены и отзывы у…
Влияние ИИ на кибербезопасность: MITRE ATLAS и новый ландшафт угроз
Сегодня искусственный интеллект кардинально меняет как подходы к защите, так и методы атак. С развитием технологий ИИ-модели могут обрабатывать и ан…
Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов. Недавно мы опубликовали…
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют мн…
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование
Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw с…
AI-пентестер: охотник или добыча
К весне 2026 года картинка стала почти ритуальной. XBOW занял первое место на HackerOne, обогнав тысячи живых багхантеров, и в марте закрыл Series C…
Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
В прошлой статье я показал, как защищен Open Source проект телеграм-бота. В комментариях меня спросили о иных инструментах и методах проверки в связ…
Новая модель с 12 млн токенов контекста, и обман Grok на $175 тыс
13-й выпуск IT-новостей от OpenIDE! Неделя получилась плотной: Grok потерял $175 тыс. без единой строки эксплойт-кода, европейские регуляторы выписа…
Вы пустили ИИ-агента в репозиторий, теперь разбираемся, что он может сломать
В феврале 2026 года Claude Cowork стирает 15 лет семейных фотографий одной командой. За полгода до этого, в августе 2025-го, случился…
Как заставить ИИ-рекрутера читать мой профиль правильно
Некоторое время назад я зарегистрировался на одной фриланс-бирже. Указал: коммерческий опыт на Rust — 1.5 года. Так и было на тот момент. Шло время,…