Как написать безопасный сборщик промта для LLM: руководство-шпаргалка
Вся безопасность вашей LLM-системы проходит через один кусок кода: сборщик промта. Если он пропускает чужую роль, невидимые символы или поддельную и…
AI & ML
⚑ Сообщить о проблемеПоследние новости AI & ML от Tech News
ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с д…
OWASP LLM10: Unbounded Consumption. Тестируем современные языковые модели на ресурсоёмких промптах
Большие языковые модели становятся неотъемлемой частью современных информационных систем. Корпоративные помощники, RAG-приложения, AI-агенты, генера…
Поймай jailbreak, если сможешь
«Люди понимают то, что им дают понять», — говорил Фрэнк Абигнейл. Модели — тоже. Статья о том, как jailbreak обходит защиту LLM не силой, а формой:…
AI Security. Кому и зачем это надо
ИИ сейчас встраивают практически в каждый продукт: от чат-ботов до внутренних систем автоматизации. Но почти все думают о том, как внедрить его быст…
Почему ИИ-боты более уязвимы, чем их базовые LLM-модели?
В прошлой статье я показал, как защищен Open Source проект телеграм-бота. В комментариях меня спросили о иных инструментах и методах проверки в связ…
ИИ-агенты в проде: как измерить безопасность и снизить риски внедрения
Недоверие бизнеса к агентным решениям растёт пропорционально их распространению. И это недоверие небезосновательно: агент — это не просто чат-бот с…
Ваш Telegram-бот на базе LLM уязвим. Я написал сканер, чтобы доказать это на популярном Open Source проекте
TL;DR: Я создал BarkingDog — ИИ-сканер безопасности с открытым исходным кодом для Telegram-ботов и веб-приложений на базе LLM. Затем я натравил его…