Построение карты проходимости на GPU по данным RGB-D камеры & лидара
Как я переделал воксельную карту 10 см в HD-карту высот с разрешением 1 мм на CUDA, две новые проблемы: шум глубины и скачки одометрии по высоте. Чи…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Do Drafters Work on Small Models? Gemma 4 E2B and E4B on Two Small GPUs
This article provides a step by step guide to serving Gemma 4 E2B and E4B with Google's QAT assistant drafters through llama.cpp's speculative decod…
Running the 510 GB DeepSeek-V4.1-Flash on an 8 GB GPU — and three bugs that never raise an error
My home machine for local models is modest: an RTX 5060 with 8 GB , a Core Ultra 5 225F, 31 GiB of RAM and a Gen5 NVMe drive used only for model fil…
Построение карты проходимости на GPU по данным RGB-D камеры & лидара
Как построить карту проходимости для наземного робота на GPU, уложившись в 100мс лидара? Рассказываю путь от универсальной 3D-воксельной карты, кото…
How Fast Can a 421M-Parameter Decision Model Run? I Benchmarked Laya Across NVIDIA GPUs
One H100 NVL. A 421M-parameter decision model. 15.1 million decisions per day while staying inside a p99 ≤ 130 ms latency budget. That number sounds…
Gemma 4 on a Tesla T4, Part 2: The Minimum GCE VM and a Script to Drive It
This article provides a step by step deployment guide for **Gemma 4 E2B * to a Tesla T4 hosted GPU enabled system. A suite of Python MCP tools is bu…
Gemma 4 on a Tesla T4: QAT Weights Decode 1.79x Faster Than bf16
This article provides a step by step deployment guide for **Gemma 4 E2B * to a Tesla T4 hosted GPU enabled system. A suite of Python MCP tools is bu…
Same nvJPEG2000, different numbers: timer boundaries and frames in flight
This is an excerpt from a longer write-up, Fastvideo JPEG2000 vs nvJPEG2000 on NVIDIA RTX 4090 , which compares two GPU JPEG2000 codecs at the same…
Exploring Result Visibility of Fixed-Latency Instructions on the SM120 Architecture
Huerta et al., in Dissecting and Modeling the Architecture of Modern GPU Cores , propose that modern NVIDIA GPUs express dependency constraints thro…
Маленькие тонкости большого дела
В наше время, а дальше больше, знание умножения и сложения становится стратегическим. Вот то самое умножение в столбик, знакомое с начальной школы и…
Gemma 4 on an 2021 4 GB Laptop GPU: QAT Takes It From 9.5 GiB to 1.6
This article provides a step by step deployment guide for Gemma 4 E2B's quantization-aware-trained (QAT) checkpoint to a local, laptop hosted GPU en…
g5g vs g6 for LLM Serving: the Same Code, and 3.7x the Throughput
This article compares two AWS GPU instance families for serving a small language model, using a payload that is byte-identical on both. The older fa…
The sm_120 shared-memory cliff: why FP8 KV cache crashes vLLM on workstation Blackwell
If you run vLLM with --kv-cache-dtype fp8 on a DeepSeek-family (MLA) model and your GPU is a GB10, an RTX PRO 6000, or any workstation or consumer B…
Qwen3-8B on workstation Blackwell: vLLM vs SGLang vs llama.cpp, plus an FP8 pass
Benchmarks of the same model on the same GPU across three serving stacks, then an FP8 pass on the winner. All numbers measured on our own hardware l…
753B на одной видеокарте: разбор FreeToken
Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…
[Перевод] Таинственный остров: находим геолокацию с помощью геометрии и программирования GPU CUDA
Свой пост я написал после участия в соревнованиях gralhix 004, организованных Софией Сантос | Gralhix . Задача Это фотография островного курорта. Во…
Serving Gemma4 with Rust on vLLM 🦀
This tutorial walks through installing and setting up the Rust toolchain for vLLM on an AWS EC2 G5g instance — Graviton2 (aarch64) with an NVIDIA T4…
Installing Rust for vLLM on Graviton: a G5g walk-through 🦀
This tutorial walks through installing and setting up the Rust toolchain for vLLM on an AWS EC2 G5g instance — Graviton2 (aarch64) with an NVIDIA T4…
Running Gemma 4 on EC2 G5g: Graviton2 AMD with NVIDIA GPU
A field report on serving Google's Gemma 4 E2B on AWS EC2 **G5g * — a Graviton2 (aarch64) host with an NVIDIA T4G (Turing, SM 7.5) GPU. Three obstac…
MoE на 5090 недобирает полтора раза, и дело не в маршрутизации
RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-…
GPU-Accelerating MSCRED with CUDA, im2col, GEMM, and a Custom PyTorch Extension
Introduction During my M.Tech in Data Science and Artificial Intelligence at IIT Bhilai (2021–2023), I conducted thesis research on multivariate tim…
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)
Привет, Хабр! Меня зовут Алексей, я архитектор в команде Скала^р (входим в Группу Rubytech). Мы разрабатываем программно-аппаратные комплексы (ПАК)…
One RTX 5090 vs a 12-GPU Cluster — Benchmarking a Decade of GPUs on the Same Go Proof
You don't need to know anything about Go to read this. The game is just the fixed yardstick. The story is a hardware benchmark: the same program, th…
Adding GPU backends to a pure-C TTS engine: Metal, CUDA, and the rented-Mac trick
Part of qwen3-tts — a pure C inference engine for Qwen3-TTS. TL;DR The engine is pure C and CPU by default . We added two opt-in GPU backends that l…
Как проект из ШАДа попал в Spotlight статей на конференции ICML 2026
Граф из миллионов вершин не загружает современную GPU на все 100%: видеокарта почти всё время не вычисляет, а ждёт загрузки…
Resurrecting Kepler: Getting Modern LLMs Running on a GTX 770 (Kernel 7.x)
⚠️ Experimental hack : Use on non-critical systems. Ensure you have backups. This patches a proprietary binary at the instruction level — no warrant…
TensorCircuit-NG vs cuQuantum on H200: JIT compilation beats the "magic GPU library" assumption
NVIDIA cuQuantum has a strong reputation as the natural high-performance baseline for GPU quantum simulation. That reputation is understandable: cuQ…
48-кубитный гибридный симулятор Гровера на домашней видеокарте: пробиваем стены памяти и времени
Вокруг квантовых вычислений много маркетингового шума. Если вы попытаетесь смоделировать честное 48-кубитное квантовое состояние в комплексном базис…
Where Tensor-Parallel Inference Hits the NVLink Wall
Where tensor-parallel inference hits the NVLink wall 2026-05-31 · GPU / distributed systems Tensor parallelism splits each layer across GPUs, so eve…
Планирование движения для ровера на ходовой Ackerman'а
Проверяем, может ли GPU-планировщик MPPI-Generic работать без глобального планера. Самодельный симулятор, контроллер с приоритетом угловой скорости,…