Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Unlimited-OCR от Baidu: читает страницу как картинку
Как вы себе представляете работу OCR? Страничка сканируется, программа находит области с буквами, распознает их и выдает текст. Старый добрый Tesser…
Top 5 Dev Tools Released in Late July 2026
LangChain 0.3.0 LangChain 0.3.0 is a popular AI framework that enables developers to build applications with large language models through enhanced…
How a Baseten Engineer Traced 7 Years of Attention Mechanism Evolution -- From GPT-2 to Kimi K3, in Runable PyTorch
Last week, a Baseten inference engineer who goes by @waterloo_intern published a technical blog post titled "22,580: From GPT-2 to Kimi K3, Explaine…
Своя GPT-like LLM по WH40K с нуля. Часть 5: Интеграция с Hugging Face
Привет, Хабр! Меня зовут Владимир, и это пятая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В прошлых частях мы соб…
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. Данная статья целик…
Дообучим старый ruGPT3 XL 1.3B (~2020 год) до уровня LLM. ChatGPT выйдет только через 2 года. Сравним с Gemma3 2025 года
Древняя модель ruGPT-3 XL 1.3B конца 2020 - начала 2021. Модели тех времён не умели выполнять инструкции или вести диалог в чате, они умели только п…
How a Transformer Plays Tic-Tac-Toe
An interactive guide to the architecture behind modern language models. Instead of predicting the next word, this Transformer predicts the next move…
[Перевод] Как оценить библиотеку для ИИ-агентов без слепой проверки финального ответа
ИИ-агент может вернуть правильную строку и при этом пройти к ней самым дорогим маршрутом: читать лишний код, угадывать API, падать на ошибках и зано…
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Wa…
Большое обновление Meta-Spider. Ручка неуверенности, сторож и фабрика обвязок, а так же новый модификатор поведения
Это статья-продолжение про фреймворк Meta-Spider, который был описан здесь . В этом выпуске мы рассмотрим, насколько мета-внимание бьет (и бьет ли в…
От пульта до полотенца — учим робота искать всё, что угодно
Привет, Хабр! Меня зовут Татьяна Земскова, я аспирантка МФТИ и научный сотрудник команды Embodied Agents лаборатории Cognitive AI Systems AIRI. Обла…
Умеют ли трансформеры водить машину
Трансформеры уже умеют писать код, генерировать тексты и рисовать картины. Но могут ли они управлять автономным автомобилем в реальны…
How Modern Transformer Blocks Work — From RMSNorm to MoE
The original Transformer idea is still alive. But modern LLM blocks are not just the 2017 Transformer copied and scaled. They are engineered for dee…
Why KV Cache Matters — How MQA, GQA, and MLA Make LLM Inference Faster
LLMs generate text one token at a time. That sounds simple. But without KV Cache, every new token would repeat a lot of old work. That is why infere…
Why Attention Becomes the Bottleneck — And How Efficient Attention Fixes It
Your model got smarter. But suddenly it got slower. Why does increasing context length explode compute? Because attention is O(n²). And that becomes…
Делаем фреймворк Meta-Spider на основе мета-внимания
Это прямое продолжение статьи "meta-attention is all you need" . Будет представлен фреймворк с заготовленным набором инструментов, который вы сможет…
How Self-Attention Works — QKV, Softmax, and Matrix Computation
Self-Attention is not just “looking at important words.” It is a matrix operation. And that is exactly why Transformers scale. Core Idea Self-Attent…
Базовые нейросетевые модели для кредитного скоринга физических лиц
Всем привет! Мы команда прикладных исследований и разработки моделей глубокого обучения Альфа-банка. В этой статье мы хотели бы рассказать о на…
meta-attention is all you need
В этой статье я расскажу о интересной находке во время моих экспериментов с языковыми моделями, которую я решил назвать "мета-трансформерами". Или я…
[Day 7] Does Giving an AI More 'Thinking Time' Really Make It Smarter? Training an OpenMythos-Style Mini Model on DGX
[Day 7] Does Giving an AI More "Thinking Time" Really Make It Smarter? Training an OpenMythos-Style Mini Model on DGX Intro Day 7! Reddit kept surfa…
Клиент — это тоже вектор? Как мы хотели улучшить ML-модель, а построили similarity engine
Поговорим о том, как превращать последовательности пользовательских событий в векторы, зачем обучать BERT на "языке" клиентского поведения и почему…
Метрика EICS — ищем у трансформера причинное место
У больших языковых моделей есть неприятное свойство: снаружи ответ может выглядеть одинаково уверенно и тогда, когда модель действительно «собрала»…