How much GPU energy does fp16 save? Measured on a Tesla T4
How much GPU energy does fp16 actually save over fp32? Spec sheets give TDP and peak FLOPS, not joules per job, so I measured it on a Tesla T4 using…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
How Hugging Face's Transformers Added UltraBERT with Layer-Specific Rotary Embeddings
Why UltraBERT Integration Matters The Hugging Face Transformers library is a cornerstone for NLP research and applications, providing a unified inte…
Keras #22561 speedups: compiled Keras on PyTorch now generates text 11.6 faster
Between master on Jul 18 and master on Oct 15, 2026, 15 of our PRs landed in Keras. Same GPU, same torch and jax versions, same models; only the Ker…
Гауссовы сплаты как система частиц: разрушаемые корпуса для рогалика на Godot
Корпус дрона игрока и боссов в нашем рогалике AsterMaster — не меш, а облако из ~6000 гауссиан, выученное по рендерам из Blender и упакованное в пол…
Потерянная тетрадь — разработка длинною в ночь
Был поздний вечер. Ужасно болела голова, вирус не давал нормально дышать, а градусник упрямо полз вверх. Что можно делать в таком состоянии, когда к…
Защитит ли ИИ от дрона? Разрабатываем умный прицел
Ни для кого ни секрет, что в последние несколько лет в военном деле произошла т.н. революция дронов, заключающаяся (внезапно) в использовании дронов…
Воспроизведение grokking и проверка сохранённых моделей
Воспроизвели grokking на трёх seed: нейросеть быстро запоминает обучающие примеры, но начинает обобщать значительно позже. Показываем результаты, гр…
Demystifying LLMs: Building a 124M-Parameter Decoder-Only Transformer in PyTorch
If you want to truly understand how ChatGPT, Llama, or Claude works, reading about them isn't enough. You have to build one from the ground up. In 2…
Зачем NVIDIA скрестила NeMo Automodel с диффузионными моделями
Еще в июле NVIDIA и Hugging Face выпустили совместный пост про то, как их опенсорсная библиотека для обучения нейросетей NeMo Automodel умеет теперь…
Discriminative Fine-Tuning: Why Your Backbone and Your Head Shouldn't Learn at the Same Speed
I was recently fine-tuning DEIMv2 — a DETR-style detector with a DINOv3 Vision Transformer backbone — starting from a COCO-pretrained checkpoint, to…
Не только PyTorch. О чём на самом деле новая книга Лоуренса Морони
Название новой книги Лоуренса Морони — « Искусственный интеллект и машинное обучение для программистов в PyTorch » — на первый взгляд кажется доволь…
Большой релиз библиотеки ударений в silero-stress для русского языка
Мы писали на Хабре про нашу быструю и качественную библиотеку для простановки ударений и разрешения омографов на русском языке. Потом к ней доехали…
Undefined type Float8_e4m3fn on Apple Silicon: BF16 and GGUF Workarounds for FP8 Models
Two FP8 image models crashed with Undefined type Float8_e4m3fn on an Apple Silicon Mac, and each needed a different fix — a BF16 swap for one, a GGU…
Neural Networks: Weights, Activation, and Backpropagation
If you've ever looked at a neural network diagram and every wondered what is actually happening in these networks, this post is just for you. I pull…
Превратил весь ML-пайплайн в единый вычислительный граф и ни о чём не жалею
Эксперимент на примере классификации изображений CIFAR-10 с использованием фреймворка ICO: параллельная загрузка данных, аугментации, тренировка и в…
Проверка теории улучшения результата LoRA файн‑тюнинга на «умных» слоях
При LoRA‑дообучении адаптеры обычно применяются ко всем слоям модели, хотя активность разных слоев во время обработки промпта заметно разл…
NN vs фракталы: может ли нейросеть выучить красивые математические функции?
В процессе прохождения курса от MIT про нейросети наткнулась на интересную тему, представленную одним из лекторов. Он задал…
Kazry — новая кусочно‑заданная активация
Привет, Хабр, в этой статье я хочу представить новую функцию активации для нейронных сетей под названием Kazry, которая по резул…
GPU-Accelerating MSCRED with CUDA, im2col, GEMM, and a Custom PyTorch Extension
Introduction During my M.Tech in Data Science and Artificial Intelligence at IIT Bhilai (2021–2023), I conducted thesis research on multivariate tim…
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)
Привет, Хабр! Меня зовут Алексей, я архитектор в команде Скала^р (входим в Группу Rubytech). Мы разрабатываем программно-аппаратные комплексы (ПАК)…
Your quantized model got worse, and nothing told you
Getting a model onto a phone means exporting it, and almost always quantizing it. Both of those change the numbers. Everyone knows that part. What g…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
Своя GPT-like LLM по WH40K с нуля. Часть 5: Интеграция с Hugging Face
Привет, Хабр! Меня зовут Владимир, и это пятая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. В прошлых частях мы соб…
I Trained a 6.4M-Parameter Transformer From Scratch to Talk About Recipes
Every LLM-powered app I'd built up to this point followed the same recipe (pun intended): call an API, write a good prompt, wrap it in a nice UI. Th…
Своя GPT-like LLM по WH40K с нуля. Часть 4: Дообучение на вопрос–ответ (SFT)
Привет, Хабр! Меня зовут Владимир, и это четвёртая часть цикла статей по написанию и обучению небольшой decoder-only LLM с нуля. Данная статья целик…
Running Qwen3 Through the ExecuTorch MLX Delegate: Up to 4.52x Faster on M1 Max
Hello, everyone. There are now many ways to run an LLM on a Mac, but exporting a PyTorch model for Apple Silicon and executing it in a lightweight r…
Testing PyTorch 2.13 MPS FlexAttention on M1 Max: Up to 7.83x Faster for Sparse Attention
Hello, everyone. Attention becomes expensive very quickly as more text is given to an AI model. Can a Mac GPU make it faster when every token is res…
What Does `unsqueeze` Do in PyTorch? (And Why Your Model Keeps Asking For It)
You passed a single image to your model and got ValueError: expected 4D input (got 3D input) . Someone on Stack Overflow said "just add .unsqueeze(0…
Почему «чем проще, тем лучше» не работает на ИИ-классификаторе
Обучил multi-label классификатор на 15 классов для модерации Discord-сообщества, получил micro F1 = 0.9358 — цифра, с которой можно закрывать задачу…
Debugging a Python "Memory Leak" That Was Actually a Measurement Bug (ru_maxrss vs VmRSS)
I was running a pipeline for building a RAG knowledge base: crawl web articles, split them into chunks, create embeddings, and push them into Qdrant…