How Hugging Face's Transformers Added UltraBERT with Layer-Specific Rotary Embeddings
Why UltraBERT Integration Matters The Hugging Face Transformers library is a cornerstone for NLP research and applications, providing a unified inte…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
От прогноза потока клиентов к оптимальному штату сотрудников
Клиентский поток неоднороден. Он зависит от дня недели, месяца, праздников, времени суток, расположения и формата отделения, а также от локального р…
А что думают сами LLM насчет наличия у себя сознания?
Дискуссии об LLM в массовой культуре на данный момент можно разделить на две большие категории - техно-оптимистов и техно-алармистов. Техно-оптимист…
Сканер prompt injection без PyTorch: как я продолжил заархивированный LLM Guard и научил его находить СНИЛС
Если ваш сервис отправляет текст пользователя в языковую модель, между ними почти наверняка нужен фильтр. На входе он ловит prompt injection («забуд…
Давай по новой, Миша: speculative decoding от черновика до проверки
Маленькая модель быстро набрасывает несколько следующих токенов, а большая проверяет всю пачку за один проход. Совпавшее оставляет, на первом расхож…
They Put 7 Attention Mechanisms on a Latin Square. Then Removed Them One by One.
Since GPT, nearly every Transformer repeats the same attention mechanism at every layer. Forty-eight identical blocks, differing only in learned wei…
Не только PyTorch. О чём на самом деле новая книга Лоуренса Морони
Название новой книги Лоуренса Морони — « Искусственный интеллект и машинное обучение для программистов в PyTorch » — на первый взгляд кажется доволь…
Puzzle Solution Revealed - Transformer: Need for Position Embedding
Introduce position embedding, residuals and layers ▶ Watch the 7-minute walkthrough import torch torch . set_printoptions ( precision = 2 , sci_mode…
Черный лебедь в мире LLM или когда убьют трансформер?
И снова возвращаюсь к теме больших языковых моделей. В своей достаточно старой статье я писал, что текущая архитектура БЯМ(LLM) — это гонка в тупик.…
Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
Unlimited-OCR от Baidu: читает страницу как картинку
Как вы себе представляете работу OCR? Страничка сканируется, программа находит области с буквами, распознает их и выдает текст. Старый добрый Tesser…
Top 5 Dev Tools Released in Late July 2026
LangChain 0.3.0 LangChain 0.3.0 is a popular AI framework that enables developers to build applications with large language models through enhanced…
How a Baseten Engineer Traced 7 Years of Attention Mechanism Evolution -- From GPT-2 to Kimi K3, in Runable PyTorch
Last week, a Baseten inference engineer who goes by @waterloo_intern published a technical blog post titled "22,580: From GPT-2 to Kimi K3, Explaine…
Своя GPT-like LLM по WH40K с нуля. Часть 5: Интеграция с Hugging Face
Привет, Хабр! Меня зовут Владимир, и это пятая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В прошлых частях мы соб…
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. Данная статья целик…
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только п…
How a Transformer Plays Tic-Tac-Toe
An interactive guide to the architecture behind modern language models. Instead of predicting the next word, this Transformer predicts the next move…
[Перевод] Как оценить библиотеку для ИИ-агентов без слепой проверки финального ответа
ИИ-агент может вернуть правильную строку и при этом пройти к ней самым дорогим маршрутом: читать лишний код, угадывать API, падать на ошибках и зано…
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Wa…
Большое обновление Meta-Spider. Ручка неуверенности, сторож и фабрика обвязок, а так же новый модификатор поведения
Это статья-продолжение про фреймворк Meta-Spider, который был описан здесь . В этом выпуске мы рассмотрим, насколько мета-внимание бьет (и бьет ли в…
От пульта до полотенца — учим робота искать всё, что угодно
Привет, Хабр! Меня зовут Татьяна Земскова, я аспирантка МФТИ и научный сотрудник команды Embodied Agents лаборатории Cognitive AI Systems AIRI. Обла…
Умеют ли трансформеры водить машину
Трансформеры уже умеют писать код, генерировать тексты и рисовать картины. Но могут ли они управлять автономным автомобилем в реальны…
How Modern Transformer Blocks Work — From RMSNorm to MoE
The original Transformer idea is still alive. But modern LLM blocks are not just the 2017 Transformer copied and scaled. They are engineered for dee…
Why KV Cache Matters — How MQA, GQA, and MLA Make LLM Inference Faster
LLMs generate text one token at a time. That sounds simple. But without KV Cache, every new token would repeat a lot of old work. That is why infere…
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
Your model got smarter. But suddenly it got slower. Why does increasing context length explode compute? Because attention is O(n²). And that becomes…
Делаем фреймворк Meta-Spider на основе мета-внимания
Это прямое продолжение статьи "meta-attention is all you need" . Будет представлен фреймворк с заготовленным набором инструментов, который вы сможет…
How Self-Attention Works — QKV, Softmax, and Matrix Computation
Self-Attention is not just “looking at important words.” It is a matrix operation. And that is exactly why Transformers scale. Core Idea Self-Attent…
Базовые нейросетевые модели для кредитного скоринга физических лиц
Всем привет! Мы команда прикладных исследований и разработки моделей глубокого обучения Альфа-банка. В этой статье мы хотели бы рассказать о на…
meta-attention is all you need
В этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать "мета-трансформерами". Или я…
[Day 7] Does Giving an AI More 'Thinking Time' Really Make It Smarter? Training an OpenMythos-Style Mini Model on DGX
[Day 7] Does Giving an AI More "Thinking Time" Really Make It Smarter? Training an OpenMythos-Style Mini Model on DGX Intro Day 7! Reddit kept surfa…