Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
NN vs фракталы: может ли нейросеть выучить красивые математические функции?
В процессе прохождения курса от MIT про нейросети наткнулась на интересную тему, представленную одним из лекторов. Он задал…
Kazry — новая кусочно‑заданная активация
Привет, Хабр, в этой статье я хочу представить новую функцию активации для нейронных сетей под названием Kazry, которая по резул…
GPU-Accelerating MSCRED with CUDA, im2col, GEMM, and a Custom PyTorch Extension
Introduction During my M.Tech in Data Science and Artificial Intelligence at IIT Bhilai (2021–2023), I conducted thesis research on multivariate tim…
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)
Привет, Хабр! Меня зовут Алексей, я архитектор в команде Скала^р (входим в Группу Rubytech). Мы разрабатываем программно-аппаратные комплексы (ПАК)…
Your quantized model got worse, and nothing told you
Getting a model onto a phone means exporting it, and almost always quantizing it. Both of those change the numbers. Everyone knows that part. What g…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
Своя GPT-like LLM по WH40K с нуля. Часть 5: Интеграция с Hugging Face
Привет, Хабр! Меня зовут Владимир, и это пятая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В прошлых частях мы соб…
I Trained a 6.4M-Parameter Transformer From Scratch to Talk About Recipes
Every LLM-powered app I'd built up to this point followed the same recipe (pun intended): call an API, write a good prompt, wrap it in a nice UI. Th…
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. Данная статья целик…
Running Qwen3 Through the ExecuTorch MLX Delegate: Up to 4.52x Faster on M1 Max
Hello, everyone. There are now many ways to run an LLM on a Mac, but exporting a PyTorch model for Apple Silicon and executing it in a lightweight r…
Testing PyTorch 2.13 MPS FlexAttention on M1 Max: Up to 7.83x Faster for Sparse Attention
Hello, everyone. Attention becomes expensive very quickly as more text is given to an AI model. Can a Mac GPU make it faster when every token is res…
What Does `unsqueeze` Do in PyTorch? (And Why Your Model Keeps Asking For It)
You passed a single image to your model and got ValueError: expected 4D input (got 3D input) . Someone on Stack Overflow said "just add .unsqueeze(0…
Почему «чем проще, тем лучше» не работает на ИИ-классификаторе
Обучил multi-label классификатор на 15 классов для модерации Discord-сообщества, получил micro F1 = 0.9358 — цифра, с которой можно закрывать задачу…
Debugging a Python "Memory Leak" That Was Actually a Measurement Bug (ru_maxrss vs VmRSS)
I was running a pipeline for building a RAG knowledge base: crawl web articles, split them into chunks, create embeddings, and push them into Qdrant…
Своя GPT-like LLM по WH40K с нуля. Часть 1: токенизируем Империум
Привет, Хабр! Меня зовут Владимир, и я давно хотел погрузиться во вселенную Warhammer40K. Для погружение во вселенную я решил обучить LLM на лоре Wa…
Classifier-free guidance above 7.5 oversaturated our product renders
TL;DR: Classifier-free guidance above a scale of ~7.5 pushed our SDXL product renders into oversaturation and clipped highlights. Adding CFG rescale…
Channels-last memory format cut our conv backbone latency 22%
TL;DR: Switching our convolutional segmentation backbone to PyTorch's channels-last memory format cut inference latency by about 22% on A100s, with…
Они умеют думать. Как я искал (и нашёл) язык, на котором «думает» LLM
Это история одного эксперимента. Без хайпа про « сознание ИИ », но с настоящим результатом: внутри большой языковой модели есть слой, где мысль ещё…
The SDXL VAE overflow that decoded black images in fp16
TL;DR: The SDXL VAE decoder pushes activations past 65504, the max value fp16 can hold, so the last decode step overflows to inf and you get a fully…
С/С++ в современном машинном обучении: традиционные роли и возможности нового стандарта
Привет, Хабр! Меня зовут Кирилл, я разработчик СХД в YADRO и ML-энтузиаст, автор книги "Hands-on Machine Learning with C++". Я заметил, что роль С/С…
Speculative decoding shifted our output distribution and evals missed it
TL;DR: We turned on speculative decoding in vLLM to cut latency on a fine-tuned 8B. Got a 1.9x throughput win. Three weeks later a customer flagged…
Нейросетевой эквалайзер на PlutoSDR: от синтетики к железу
Любой реальный радиоканал «размазывает» символы во времени: соседние отсчёты накладываются друг на друга, и приёмник видит межсимвольную и…
Winograd convolutions cost us 2 mAP and we didn't notice for a month
TL;DR: We turned on Winograd convolution to shave latency off a pedestrian detector running on a Cortex-A53, got a clean 18% speedup, and silently l…
Как я сделал Smart Select для Krita: локальное AI-выделение объектов по лассо
Я недавно начал пользоваться Krita, и после Фотошопа основной болью для меня было отсутствие удобного инструмента для умного выделения объектов выде…
PyTorch from Scratch — Part 1: Tensors, Gradients & Activations
Most people use PyTorch without really knowing what's happening underneath. This series breaks the foundations down into the simplest possible expla…
Why JAX Is a Much Better Backend for Quantum Circuit Simulation Than PyTorch
Modern quantum circuit simulation is not just “machine learning with complex tensors.” It involves irregular tensor contractions, sparse operators,…
AI Coding Tools for Machine Learning Engineers in 2026: Jupyter, PyTorch, and the CUDA Trap
This article was originally published on aicoderscope.com ML engineers aren't software engineers who happen to write some Python. They live in noteb…
Our event-camera detector lost 6 mAP to a badly chosen accumulation window
TL;DR: We spent three weeks chasing a 6 mAP regression in an event-camera object detector. The model was fine. The bug was the accumulation window w…
From Bayesian to deep knowledge tracing — upgrading NumPath's student model with a PyTorch LSTM
BKT told us how well a student knows subtraction-with-borrowing. It had no idea that a student who reverses digits on subtraction problems probably…