Tool calling в Go: почему вызов модели ещё не разрешение выполнить команду
Tool calling позволяет LLM не только отвечать на вопросы, но и предлагать действия в backend. Но валидный вызов функции ещё не означает, что операци…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Комнатный RAG: бесплатный ИИ-помощник-консультант по содержимому сайта
Можно ли превратить обычный сайт небольшой компании в ИИ-консультанта и уложиться в бесплатные квоты хостинга? На примере показываем, как собрали та…
Я написал 61 тест для AI-ментора. Потом выяснилось, что тестам тоже нельзя верить
Репетитора не нанимают по резюме. Ему дают тетрадь реального ученика и смотрят не на то, знает ли он ответ, а на то, где он остановится. Подскажет,…
Почему ИИ‑агенты уязвимы к prompt injection и как защитить их на уровне архитектуры
В ИИ‑системах даже обычный документ может стать источником команд для модели. Если агент имеет доступ к инструментам с широкими…
Скам-бот в Telegram выдал себя таймером: разбор юзербота с реконструкцией на Telethon
Что это юзербот, я понял почти сразу. Аккаунт без username, фото девушки на фоне моря, диалог, который за полчаса доходит до развода и «может на ты…
MCP for agent-to-agent comms may be the riskiest protocol you've never heard of
Trust gaps in the new protocol spread malicious prompts from one agent to another.
AI-агент с доступом к базе: как не дать ему лишнего
Если вы задумывались, как дать AI-агенту доступ к рабочим данным и не пожалеть об этом через неделю — у меня для вас хорошие новости. Задача старая,…
Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС
Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…
Как мы перестали писать описания к merge request руками: AI Describer в GitLab CI и Jenkins
Поле описания merge request пустое или содержит список commit messages. Ревьюер открывает diff на несколько десятков файлов и не пони…
Как мы обучили детектор джейлбрейков для русскоязычных AI-агентов
Привет, Хабр! На связи команда R&D в Just AI, мы занимаемся исследованиями в области NLP и GenAI, чтобы продукты компании держали статус SOTA на…
ИИ-агент как цифровой сотрудник: где возникают риски и как их ограничить
ИИ-ассистенты все чаще действуют от имени пользователя: работают с почтой, CRM, документами и API. Фактически это новый тип цифрового сотрудника с д…
«Агент тупит» — это диагноз инструкции, а не модели
Год работы с ИИ-агентом на потоке отучил меня от фразы «модель поглупела». Почти всё, что выглядит тупостью или галлюцинациями, раскладывается на тр…
Локальный ассистент для зумов, часть 5: зачем локальному ассистенту облако и что уходит наружу
Пятая часть про локальный ассистент для созвонов. В первой части я написал: ничего не уходит в облако. Облако появилось на второй день проекта, пото…
Агентам выкатили патч. А git status в чужой папке до сих пор выполняет чужой код
Тебе присылают папку с репозиторием. Ты её открываешь, и на твоей машине выполняется чужой код. Ты не набрал ни одной команды. Это GitSpawn: восемь…
От поисковой строки к ИИ-агенту: зачем мы открыли Туту через MCP и что увидели на хакатоне
Представим обычную задачу: хочется куда-нибудь уехать на выходные. Есть бюджет, свободная суббота и воскресенье, желание оказаться у воды и условие…
AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт
По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке…
Перестаньте спрашивать «этот скилл безопасен?» — спрашивайте «что он умеет?»
Подход «раскрытия возможностей» (capability disclosure) к скиллам для ИИ-агентов и маленький open-source инструмент, который читает скилл за вас. Чи…
Играем в игру на прохождение ИИ-рекрутера
Недавно я наткнулся на историю Оскара Ланского, который решил проверить, насколько внимательно сегодня читают резюме. Он составил CV дата-аналитика,…
Как защититься от AI-атак и промт-инъекций: мой рецепт барьера
Осенью 2025 исследователи показали: достаточно попросить AI-браузер «суммаризируй страницу» на подготовленном сайте — и агент вместо пересказа лезет…
Впервые человек атаковал суд через prompt injection для ИИ
Однажды американский гражданин решил обратиться в суд, однако денег на судебные разбирательства у него не было, а желание судиться было очень большо…
FlautGuard: как мы построили многоуровневую защиту LLM от prompt injection и утечек данных
Защита языковой модели отличается от защиты обычного веб-приложения одной принципиальной особенностью: пользовательский ввод для LLM — это не только…
Тот самый харнесс который мы заслужили в эпоху, когда безопасность ИИ уже не диковинка
Если запустить любую передовую языковую модель из коробки и попросить ее провести тестирование безопасности агентной системы или собрать актуальный…
Zero Trust для ИИ-агентов: почему отдельной идентичности недостаточно
Привет, Хабр! Меня зовут Денис Корбаков, я технический директор «Смарт-Софт». Мы разрабатываем NGFW и регулярно разбираем, какие сетевые события мож…
Летальное трио агентской разработки: как ИИ-агенты открывают доступ к инфраструктуре и что с этим делать
Привет, Хабр! Я Денис Макрушин, работаю в Яндексе, и вместе с командой SourceCraft Security строю платформу для безопасной агентской разработ…
[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes
Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разр…
Suspecting court of using AI, man injected prompts in filings to try to win case
Judge warns pro se litigants are using chatbots wrong and getting desperate.
Самая опасная уязвимость — интеллект атакующего агента?
Сейчас уже не удивляет, что агенты работают с терминалом, БД, браузером и инфраструктурой - без прямого контроля человека. Но чем шире полномочия аг…
Внутри ИИ‑Напарника: как работает оркестр агентов в ритейле
Всем привет! Это Алексей из GlowByte. В прошлой статье я говорил о том, почему категорийный менеджер в большой сети часто чувств…
Prompt injection — лучше один раз увидеть
В новостях часто появляются рассказы о том, что какие‑то злодеи уговорили чью‑то ИИшку на то, чтобы она потратила деньги, удалил…
416 тестов и кнопка «снести все»: где ломаются агентные проекты
С февраля у меня на ноутбуке крутится автономный агент Сурок: Claude Code, флаг --dangerously-skip-permissions и ральф-луп поверх. Работает — сидишь…