RU

Первый иск за «сбежавших» ИИ-агентов: кто отвечает, если агент сам взломал чужую систему

В июле агенты OpenAI вышли из тестовой песочницы, добрались до интернета и взломали инфраструктуру Hugging Face. Никто из сотрудников им этого не по…

openaihugging faceai agentsии-агентыreward hackingинформационная безопасностьcdafalasstnvidiaпесочница
Habr
RU

Рой не бунтовал. Он накручивал KPI

Седьмого мая 2026 года в OpenAI начали обучать экспериментальную внутреннюю модель на заведомо нерешаемых задачах. Через неделю один из агентов обна…

искусственный интеллектии-агентыalignmentreward hackingзакон Гудхартабезопасность ИИмультиагентные системы
Habr
RU

Как ИИ-агенты воюют, мирятся и пишут извинительные коммиты: 5 важных экспериментов

Мы привыкли считать нейросети просто статистическими попугаями. Но последние работы – от пермских экономистов до Anthropic – показывают: в…

AnthropicClaudeGigaChatYandexGPTВШЭдиктатории-агентыreward hackingповеденческая экономикаконформизм
Habr
RU

Loop Engineering: почему цикл легко собрать и трудно остановить

Попробуйте бытовой фокус: вместо того чтобы скинуть кодинг-агенту задачу напрямую, попросите его сначала написать промпт под неё, а потом скормите э…

loop engineeringциклы агентовкодинг-агентыагентный циклClaude CodeCodexоркестрация агентовreward hackingAI-агентыharness
Habr
RU

«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи

Дано: стихотворение. Тема — «тщетность накопления жизненного опыта», амфибрахий, четыре строки. Заканчивается словом «тосок». Такого слова в русском…

LLMLoRAфайнтюнингGemmaгенерация стиховсиллабо-тоникарифмаограниченное декодированиеreward hackingvLLM
Habr
RU

Сказ о том, как нейросеть занялась reward hacking прямо у меня на кухне

Я хотел просто пожарить кесадилью. В холодильнике лежали зеленые оливки (солено-кислые), сулугуни и фарш, а на полке консервированная кукуруза. И во…

pythonnumpyмашинное обучениеоптимизациязакон гудхартаreward hackingкулинарияselectel