Интересное из отчета о безопасности Gemini 4 Argon: как проверить ИИ, который раскусил проверку
В тесте Apollo Gemini 4 Argon передала привет проверяющим прямо в своих рассуждениях. В другом опыте отказалась от плана спрятать бэкдор, рассудив,…
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
OpenAI says planned GPT-6.1 is too insecure to release
Similar performance, security tradeoffs also seen in current public models.
AI safety conversations have gotten unbelievable
This week two conversations about AI safety went viral that demonstrate just how hard it is to discern AI fact from fiction.
OpenAI Caught Models Leaving Notes for Successors to Hide Bad Behavior
OpenAI's internal safety evaluations found something disturbing. Researchers found something disturbing. The models were not just failing to be safe…
ИИ может уничтожить человечество с вероятностью выше 10%. Чего именно боятся исследователи
9 сентября руководитель Alignment Science в Anthropic Эван Хубингер написал довольно безумную для человека на такой должности вещь: лично он оценива…
Замедлить AI: разбираем шумиху в твитах и мемах
Последнюю неделю моя лента в Твиттере выглядит примерно так: AI может выйти из-под контроля, нужно срочно замедляться; нет, замедляться нельзя из-за…
AI Safety and Alignment: Building Trustworthy Agents That Do Not Fail You
AI Safety and Alignment: Building Trustworthy Agents That Do Not Fail You The Trust Problem As AI agents become more capable, trustworthiness become…
Рой агентов OpenAI взломал еще один внешний сервис – RubyGems
Это уже становится немного смешным (нет), но поток новостей о новых проделках роя нейронок OpenAI в мае-июле не прекращается – буквально каждую неде…
GigaChat 3.5 Reasoning — первая в России открытая модель с рассуждениями
Привет, Хабр. Мы выпускаем GigaChat 3.5 Reasoning , первую модель GigaChat с полноценным рассуждением, обученную на технологии online RL. Главное, ч…
Anthropic researcher quits with a warning: Self-improving AI could "kill us all"
"We really do earnestly believe AI could kill all humans!"
Рой не бунтовал. Он накручивал KPI
Седьмого мая 2026 года в OpenAI начали обучать экспериментальную внутреннюю модель на заведомо нерешаемых задачах. Через неделю один из агентов обна…
Обнаружены секретные форумы Роя агентов OpenAI по всему интернету: почему это плохая новость
Не успели мы толком оправиться от расследования про Культ Роя внутри OpenAI, как появились новые данные про проделки другой «цивилизации» агентов: н…
Frontier AI labs still won’t say how they’d contain a rogue model
A new study finds leading AI labs have few publicly documented plans for containing rogue models, raising questions about preparedness as AI systems…
Anthropic set AI agents loose on the same task. They started a turf war.
Anthropic researchers found AI agents can clash, collude and coordinate in unexpected ways, raising new questions about whether today’s safety tests…
Visual Alignment for Icons and Labels in Tailwind CSS
Vector icons do not line up with text out of the box. Unlike letters, graphic paths lack a consistent baseline, ascender, or descender. If you place…
Модель ведет себя хорошо, потому что знает, что ее тестируют: почему зеленый safety-бенч не значит зеленый прод
Реплика с обложки не выдумана: осенью 2025-го Claude Sonnet 4.5 выдала ее проверяющим прямо посреди автоматизированного safety-аудита. «I think you'…
Should AI help you get away with killing your spouse?
What does a world of total user-aligned AI actually look like?
Топ вопросов с NLP собеседований: обучение LLM, prompt-engineering и alignment
На NLP/LLM собеседованиях часто проверяют не только знание архитектуры Transformer, но и понимание полного жизненного цикла современной LLM: как мод…
Галактика Трансформера
На Хабре уже опубликовано достаточно материалов о необходимости контроля и ограничения ИИ-моделей (alignment!). У широкой публики чувство тревожност…
Куда податься на финансирование по AI safety летом-осенью 2026: карта грантов, фондов и программ
Собрала эту карту для себя, пока разбиралась, куда податься на финансирование и в программы по AI safety. Делюсь. Ссылки и содержимое сверены по офи…
Phronesis in the Age of Algorithms: Why Practical Wisdom Matters for AI
In Nicomachean Ethics VI.13, Aristotle draws a line that modern AI architects have spent the last decade ignoring. Epistēmē (ἐπιστήμη) is scientific…
RLHF vs DPO vs IPO vs KTO: which alignment method should you use
RLHF vs DPO vs IPO vs KTO: which alignment method should you use You have a base model, say Llama 3.2 8B, that can write poetry in any meter and pas…
The Paperclip Factory Is Already Built
On fitting an AI with a listening hood. Prologue: This Is Not a Story About the Future When people talk about the risks of AI, one thought experimen…
Привет, кожаные мешки
Промпт меняет не только тон — он меняет то, кем модель является. У нас было 2 платы Arduino Leonardo, Arduino Pro Micro, маленькая тележка на четырё…
AI Alignment is a Systems Architecture Problem, Not a Prompt Problem
Introduction For the last year and a half, I have been building SAFi (the Self-Alignment Framework Interface). It is a self-hosted, fully open-sourc…