How much GPU energy does fp16 save? Measured on a Tesla T4
How much GPU energy does fp16 actually save over fp32? Spec sheets give TDP and peak FLOPS, not joules per job, so I measured it on a Tesla T4 using…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL…
Построение карты проходимости на GPU по данным RGB-D камеры & лидара
Как я переделал воксельную карту 10 см в HD-карту высот с разрешением 1 мм на CUDA, две новые проблемы: шум глубины и скачки одометрии по высоте. Чи…
Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)
Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском же…
Kandinsky 6.0 on a 16 GB GPU: the official recipe runs out of memory, and only the 29B model passed my Spanish test
Kandinsky 6.0 generates five seconds of video with its audio , voices included, from a text prompt (MIT license). I wanted to know two things: does…
Мы сжали нейросеть до 2 бит: математика рухнула с 81% до 6%. Но 27B нас удивила
Недавно мы опубликовали эксперимент, в котором удалось запустить Qwen3.8-27B целиком на RTX 5060 с 8 ГБ видеопамяти и получить около 30 токенов в се…
Building a Distributed GPU Cluster for LLM Inference on Idle Apple Silicon Macs
A single M2 Max Mac Studio can serve 8‑token‑per‑second Llama‑2‑7B inference, yet most developers leave that compute idle overnight. ## Inventory an…
Nodus vs Modal: which is better for GPU training?
Pick Modal if your training jobs are short, sit next to web endpoints, or need one large RDMA cluster. Pick Nodus if your runs last hours or days an…
My Triton Kernel Ties bitsandbytes — and Both Lose to Math
A fused W4A16 GEMV for batch-1 decoding, measured against the RTX 3060 roofline. Scope note: one RTX 3060 12GB, batch-1 greedy decoding, Qwen2.5-1.5…
Spot vs on-demand GPUs: what breaks, and how do you make spot safe?
Short answer (October 10, 2026): spot GPUs are the same hardware as on-demand GPUs at a deep discount (AWS and Azure advertise up to 90% off, GCP up…
Как делят GPU в докладах KubeCon Japan 2026 и у нас в Авито
Привет, Хабр! Меня зовут Антон Алексеев , я ML Ops-инженер в Авито . В конце июля мы с коллегами съездили в Иокогаму на KubeCon + CloudNativeC…
Что делать, если доступ к Claude пропал, а на нем уже завязан рабочий процесс?
Привет, Хабр! На связи команда Рег.облака. С начала октября у российских пользователей Claude снова начали блокироваться аккаунты. Для тех, кто поль…
Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов/с
Наш проект называется ExVRAM Lab. Это открытая исследовательская лаборатория, в которой мы проверяем, насколько большие локальные LLM можно зап…
A $22,000 GPU bill with a very quiet night shift
The one I think about most is the account where the infrastructure was correct and the cost was still wrong ML startup. Eight engineers. Production…
"We let an AI agent pay for GPUs with USDC. Here is what happened (2 of 3 delivered, 1 auto-refunded)"
On October 2, 2026, we ran a live verification of the x402 pay-per-job service on Kilawatt Cloud. No simulation. An autonomous agent asked for GPU c…
PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLM
Привет, я Дмитрий, MLOps-инженер в Selectel . Современный ландшафт AI-ускорителей изобилует всевозможными устройствами: GPU, TPU, NPU, LPU и п…
Backends 101: Choosing the Right Measurement Surface
Why this lesson exists When a program runs on a GPU, the only way to know where the real cost lies is to measure that GPU. Defaulting to the CPU sur…
Что и как меняется в ИТ-инфраструктуре при внедрении ИИ?
Привет, Хабр! Меня зовут Владислав Шершульский, я советник генерального директора Группы Rubytech по инновационным проектам и ИИ. Отвечая на вопрос,…
Китайские GPU — две новинки, которые стоит рассмотреть в паре
За последние несколько дней Huawei и Alibaba практически одновременно представили новое железо для ИИ. Huawei — 17 сентября на HUAWEI CONNECT 2026 в…
На чём стоят армянские ИИ-фабрики: энергия и три вектора
15 сентября Армения на десять дней осталась без российского газа — и пережила это на иранском бартере. Именно на этой энергосистеме работают обе ИИ-…
Vast.ai CLI 101: Finding a GPU Offer You Can Actually Use
TL;DR: Start with the workload’s GPU and memory needs, then search for offers with reliability at least 0.97, free inbound traffic, enough disk, and…
How to pick --n-cpu-moe in llama.cpp: Qwen3.6 35B-A3B on 12, 16 and 24 GB GPUs
Mixture-of-experts models like Qwen3.6 35B-A3B, gpt-oss or GLM Flash are too big for most consumer GPUs, but they only read a few experts per token.…
Две ИИ-фабрики Армении: что построили и на кого они работают
В августе в Раздане открылась AI-фабрика Firebird: 6144 ускорителя NVIDIA B200 на 15 МВт, стройка заняла чуть больше полугода. Вторая, Eleveight, ра…
When GPU Resources Run Dry, It Still Looks Like Everything Is Working: A Tale of Two AI Competing for VRAM
📝 Originally published (in Japanese) at forge.workstyle.tech . On the same machine (1 GPU, 12GB VRAM), two Claude Code sessions were running separat…
Российский нейрочип от НТЦ «Модуль»
Разбираю единственный серийный российский нейрочип — НТЦ «Модуль», 27 лет в серии. Что он умеет по даташиту и в реальных внедрениях — от больниц и Р…
Рынок вычислений в России, Казахстане и Беларуси
Сколько вычислительной мощности реально у России, Казахстана и Беларуси — и что из этого доступно CTO прямо сейчас. Прайсы: аренда H100 от 342 ₽/час…
От 6 часов до 20 минут: как мы ускорили коллаборативную модель в рекомендациях Авито
Привет, я Салават Динмухаметов, senior ML-engineer в команде рекомендаций Авито . В статье расскажу, как мы изменили систему рекомендаций на главной…
How Much VRAM Do You Really Need to Run a 70B LLM?
How Much VRAM Do You Really Need for a 70B LLM? Running a large language model locally sounds simple until you start looking at GPU memory. A model…
Why GPU Availability Is Still the Biggest Bottleneck in ML Infra
If you've ever had a training job ready to go and then sat there refreshing your cloud console because there's no GPU capacity available in your reg…
[Перевод] Как устроены LLM: разбираем на примере 3-уровневой абстракции
Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробн…