Впервые человек атаковал суд через prompt injection для ИИ
Однажды американский гражданин решил обратиться в суд, однако денег на судебные разбирательства у него не было, а желание судиться было очень большо…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных
Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только…
Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка
Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный…
Zero Trust для ИИ-агентов: почему отдельной идентичности недостаточно
Привет, Хабр! Меня зовут Денис Корбаков, я технический директор «Смарт-Софт». Мы разрабатываем NGFW и регулярно разбираем, какие сетевые события мож…
Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать
Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработ…
[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes
Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разр…
Suspecting court of using AI, man injected prompts in filings to try to win case
Judge warns pro se litigants are using chatbots wrong and getting desperate.
Самая опасная уязвимость — интеллект атакующего агента?
Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия аг…
Внутри ИИ‑Напарника: как работает оркестр агентов в ритейле
Всем привет! Это Алексей из GlowByte. В прошлой статье я говорил о том, почему категорийный менеджер в большой сети часто чувств…
Prompt injection — лучше один раз увидеть
В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалил…
416 тестов и кнопка «снести все»: где ломаются агентные проекты
С февраля у меня на ноутбуке крутится автономный агент Сурок: Claude Code, флаг --dangerously-skip-permissions и ральф-луп поверх. Работает — сидишь…
Prompt injection не чинится фильтром. Разбираем архитектуру, которая изолирует недоверенный текст
Языковая модель пишет двадцать пар «вопрос и ответ» для карточки товара меньше чем за минуту. Проблема начинается после. Чтобы ответы были верными,…
Поймай jailbreak, если сможешь
«Люди понимают то, что им дают понять», — говорил Фрэнк Абигнейл. Модели — тоже. Статья о том, как jailbreak обходит защиту LLM не силой, а формой:…
Агенты удаляют файлы, сливают данные и сами себя взламывают: как устроена безопасность ИИ‑систем в 2026 году
Привет, Хабр! Тема искусственного интеллекта за последние несколько лет набили, честно говоря, оскомину. Есть как защитники, так и противн…
Двойная жизнь LLM
Привет! Меня зовут Евгений, я специалист по безопасности приложений в Naumen. Моя работа — поиск и устранение уязвимостей в продуктах и инфраструкту…
Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM
Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в&n…
Иллюзия контроля: почему промпты не защищают ИИ‑агентов
Почему указание вида «не отправляй конфиденциальные данные наружу» не работает? Разбираем уязвимость Permission Boundary Bypass, а также т…
Как сделать MCP-сервер из Spring-сервиса за один вечер. И что потом не даст спать спокойно
AI‑агенту не нужен прямой доступ к базе, чтобы отвечать на вопросы оператора или вызывать действия в системе. Достаточно да…
Сайты под управлением ИИ: как это работает под капотом. Часть 2 из 3
Сайты под управлением ИИ: что это на самом деле и сколько стоит. Часть 1 Это вторая часть из трёх. В первой мы разбирались с концепцией: что такое с…
Скачал skills по совету из YouTube — слил все свои данные. Как это работает?
Представьте: вы посмотрели ролик на YouTube о том, как настроить ИИ‑ассистента для работы. Автор советует поставить пару‑тройку…
Prompt injection нельзя запатчить: год «летальной триады» и лента CVE 2026 года
В марте 2026-го бэкдор пролежал на PyPI около трёх часов. За это время заражённый пакет скачали почти 47 тысяч раз. Пакет назывался LiteLLM — это шл…
Как мы автоматизировали мониторинг цен конкурентов: мультиагентная система на CrewAI + n8n + Firecrawl
0. TL;DR для тех, кто спешит Статья о том, как собрать из подручных open-source инструментов систему, которая ежедневно: — Сканирует цены и отзывы у…
Влияние ИИ на кибербезопасность: MITRE ATLAS и новый ландшафт угроз
Сегодня искусственный интеллект кардинально меняет как подходы к защите, так и методы атак. С развитием технологий ИИ-модели могут обрабатывать и ан…
Промпт-инъекции в реальных данных, широкие права доступа и другие способы сломать ИИ-агента
Привет, Хабр! На связи команда Jay Guard — платформы, которая помогает безопасно использовать языковые модели и ИИ-агентов. Недавно мы опубликовали…
Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям
AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют мн…
Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM. Часть 4. Тестирование
Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В первой части я собирался в отпуск и хотел, чтобы локальная моделька через OpenClaw с…
AI-пентестер: охотник или добыча
К весне 2026 года картинка стала почти ритуальной. XBOW занял первое место на HackerOne, обогнав тысячи живых багхантеров, и в марте закрыл Series C…
Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
В прошлой статье я показал, как защищен Open Source проект телеграм-бота. В комментариях меня спросили о иных инструментах и методах проверки в связ…
Новая модель с 12 млн токенов контекста, и обман Grok на $175 тыс
13-й выпуск IT-новостей от OpenIDE! Неделя получилась плотной: Grok потерял $175 тыс. без единой строки эксплойт-кода, европейские регуляторы выписа…
Вы пустили ИИ-агента в репозиторий, теперь разбираемся, что он может сломать
В феврале 2026 года Claude Cowork стирает 15 лет семейных фотографий одной командой. За полгода до этого, в августе 2025-го, случился…