RU

Tool calling в Go: почему вызов модели ещё не разрешение выполнить команду

Tool calling позволяет LLM не только отвечать на вопросы, но и предлагать действия в backend. Но валидный вызов функции ещё не означает, что операци…

GoGolangLLMtool callingfunction callingprompt injectionauthorizationmulti-tenantbackend securityAI agents
Habr
RU

Комнатный RAG: бесплатный ИИ-помощник-консультант по содержимому сайта

Можно ли превратить обычный сайт небольшой компании в ИИ-консультанта и уложиться в бесплатные квоты хостинга? На примере показываем, как собрали та…

RAGИИ-помощникчат-ботCloudflareWorkers AILLMбаза знанийprompt injection
Habr
RU

Почему ИИ‑агенты уязвимы к prompt injection и как защитить их на уровне архитектуры

В ИИ‑системах даже обычный документ может стать источником команд для модели. Если агент имеет доступ к инструментам с широкими…

безопасность ИИSecurity by Designprompt injectionИИ-агентыархитектура ИИ-системзащита LLMбезопасность RAGконтроль доступауязвимости ИИOWASP.
Habr
RU

Скам-бот в Telegram выдал себя таймером: разбор юзербота с реконструкцией на Telethon

Что это юзербот, я понял почти сразу. Аккаунт без username, фото девушки на фоне моря, диалог, который за полчаса доходит до развода и «может на ты…

скамtelegramюзерботllmprompt injectiontelethonмошенничествочат-ботwhisperсоциальная инженерия
Habr
RU

Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС

Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…

llmprompt injectionllm guardonnxперсональные данные152-фзpresidiotransformerspythononnx runtime
Habr
RU

Как мы перестали писать описания к merge request руками: AI Describer в GitLab CI и Jenkins

Поле описания merge request пустое или содержит список commit messages. Ревьюер открывает diff на несколько десятков файлов и не пони…

merge requestpull requestcode reviewgitlab cijenkinsllmгенерация описанийdotnet toolавтоматизация code reviewprompt injection
Habr
RU

ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить

ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с д…

prompt injectionLLM securityguardrailsOWASPMITRE ATLASred teamingагентные системыии агенты
Habr
RU

«Агент тупит» — это диагноз инструкции, а не модели

Год работы с ИИ-агентом на потоке отучил меня от фразы «модель поглупела». Почти всё, что выглядит тупостью или галлюцинациями, раскладывается на тр…

сезон код будущегоии-агентыclaude codeпромпт-инжинирингllmкачество кодаавтотестыprompt injectionlow-code
Habr
RU

Локальный ассистент для зумов, часть 5: зачем локальному ассистенту облако и что уходит наружу

Пятая часть про локальный ассистент для созвонов. В первой части я написал: ничего не уходит в облако. Облако появилось на второй день проекта, пото…

ассистент встречлокальные llmоблачная ревизияприватностьclaude codeopusграф знанийobsidianprompt injectionopen source
Habr
RU

Агентам выкатили патч. А git status в чужой папке до сих пор выполняет чужой код

Тебе присылают папку с репозиторием. Ты её открываешь, и на твоей машине выполняется чужой код. Ты не набрал ни одной команды. Это GitSpawn: восемь…

gitspawngitcore.fsmonitorкодинг-агентыclaude codeprompt injectionинформационная безопасность
Habr
RU

От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне

Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие…

mcpModel Context ProtocolИИ-агентыискусственный интеллектLLMtravel-techAPIprompt injectionхакатонТуту
Habr
RU

Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»

Подход «раскрытия возможностей» (capability disclosure) к скиллам для ИИ-агентов и маленький open-source инструмент, который читает скилл за вас. Чи…

mcpprompt injectionclaude-codeclaude code skillsбезопасность цепочки поставокopen-source
Habr
RU

Как защититься от AI-атак и промт-инъекций: мой рецепт барьера

Осенью 2025 исследователи показали: достаточно попросить AI-браузер «суммаризируй страницу» на подготовленном сайте — и агент вместо пересказа лезет…

промт-инъекцииprompt injectionAI-агентыclaude codeбезопасность ИИнейросетиAI-браузерывайбкодингvibecodingмаркетинг
Habr
RU

Zero Trust для ИИ-агентов: почему отдельной идентичности недостаточно

Привет, Хабр! Меня зовут Денис Корбаков, я технический директор «Смарт-Софт». Мы разрабатываем NGFW и регулярно разбираем, какие сетевые события мож…

Zero TrustИИ-агентыIAMмашинная идентичностьworkload identityprompt injectionMCPNIST SP 800-207SPIFFENGFW
Habr
RU

[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes

Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разр…

vk cloudтеневой ииai securityci_cdthreat modelingkubernetes securitysupply chain securityprompt injectionpolicy as codedevsecops
Habr
RU

416 тестов и кнопка «снести все»: где ломаются агентные проекты

С февраля у меня на ноутбуке крутится автономный агент Сурок: Claude Code, флаг --dangerously-skip-permissions и ральф-луп поверх. Работает — сидишь…

ИИ-агентыLLMагентный харнессClaude Codeprompt injectionэвалыавтономия агентоврегресс-тестыAI-DISRUPT PDLCинженерные практики
Habr
RU

Как желание быстрее читать чужой код превратилось в войну с недетерминизмом LLM

Началось всё примерно так. Я сидел над своим проектом: пока работал, общался по нему с нейросетками и параллельно искал в&n…

LLMprompt engineeringдетерминизмJavaоценка кодаобучение программированиюGemini APIprompt injectionpet projectNLP
Habr
RU

Как сделать MCP-сервер из Spring-сервиса за один вечер. И что потом не даст спать спокойно

AI‑агенту не нужен прямой доступ к базе, чтобы отвечать на вопросы оператора или вызывать действия в системе. Достаточно да…

MCPSpring AIJavaSpring BootAI-агентыLLM-интеграциимикросервисыбезопасность LLMprompt injectionархитектура ИИ-приложений
Habr
RU

Скачал skills по совету из YouTube — слил все свои данные. Как это работает?

Представьте: вы посмотрели ролик на YouTube о том, как настроить ИИ‑ассистента для работы. Автор советует поставить пару‑тройку…

AI-агентыskillsкибербезопасностьClaude Codeprompt injectionвредоносный кодскилы для новичковии-безопасность
Habr
RU

Как мы автоматизировали мониторинг цен конкурентов: мультиагентная система на CrewAI + n8n + Firecrawl

0. TL;DR для тех, кто спешит Статья о том, как собрать из подручных open-source инструментов систему, которая ежедневно: — Сканирует цены и отзывы у…

n8nfirecrawlllmagentspythonпарсингмониторинг цен конкурентовe-commerceai-безопасностьprompt injection
Habr
RU

Zero Trust для AI-агентов: как безопасно давать LLM доступ к инструментам, данным и действиям

AI-агенты уже вышли за пределы чат-ботов. Они читают документы, вызывают API, анализируют логи, создают тикеты, готовят правки в коде и выполняют мн…

aillmai agentanthropicopenaiclaudecodexzero trustprompt injection
Habr
RU

Вы пустили ИИ-агента в репозиторий, теперь разбираемся, что он может сломать

В феврале 2026 года Claude Cowork стирает 15 лет семейных фотографий одной командой. За полгода до этого, в августе 2025-го, случился…

ИИ-агентыбезопасностьOWASPsupply chainClaude Codeprompt injectionDevSecOps
Habr
RU

Как заставить ИИ-рекрутера читать мой профиль правильно

Некоторое время назад я зарегистрировался на одной фриланс-бирже. Указал: коммерческий опыт на Rust — 1.5 года. Так и было на тот момент. Шло время,…

prompt injectionindirect prompt injectionпоисковая индексацияцифровой следрекрутингAI-скринингвеб-индексацияHRнайминформационная безопасность