Как мы запустили Qwen3.8–27B целиком на RTX 5060 8 GB и получили ~30 токенов/с
Наш проект называется ExVRAM Lab. Это открытая исследовательская лаборатория, в которой мы проверяем, насколько большие локальные LLM можно зап…
Testing & QA
⚑ Сообщить о проблемеПоследние новости Testing & QA от Tech News
Все темы
agents
ai
api
architecture
automation
backend
beginners
career
claude
cybersecurity
devchallenge
devops
discuss
javascript
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
PPU Zhenwu 810E от Alibaba: как китайский AI-ускоритель справляется с LLM
Привет, я Дмитрий, MLOps-инженер в Selectel . Современный ландшафт AI-ускорителей изобилует всевозможными устройствами: GPU, TPU, NPU, LPU и п…
От 6 часов до 20 минут: как мы ускорили коллаборативную модель в рекомендациях Авито
Привет, я Салават Динмухаметов, senior ML-engineer в команде рекомендаций Авито . В статье расскажу, как мы изменили систему рекомендаций на главной…
Exploring Result Visibility of Fixed-Latency Instructions on the SM120 Architecture
Huerta et al., in Dissecting and Modeling the Architecture of Modern GPU Cores , propose that modern NVIDIA GPUs express dependency constraints thro…
A 4 GB Laptop GPU Beats a 12-Core CPU by 4.3x on Gemma 4
This article compares two ways of serving the same small language model on the same laptop: CPU-only, and on the 4 GB GTX 1650 Ti sitting in the sam…
Name the Blackwell serving cell you are actually in
On sm_120 and sm_121, a model that will not serve often fails in one cell: one runtime version, one MoE or GEMM backend, one quantization, one topol…
Nvidia PAIR enables local AI cluster construction
Nvidia has introduced a free software tool that allows users to create AI inferencing clusters using separate computers on a single network. This ut…
From API to GPU, Week 6 (Part 1): A Model That Predicts, and How Wrong It Is
Phase 2 of 8: Enough ML to understand inference. Week 6 of 32, part 1 of 2. Every week so far, the model already existed. I ran Phi-4, read Qwen's f…
How Many AI Avatars Can One GPU Handle? Real-World Test Reveals 4 Avatars at ¥7,600 Each per Month
📝 Originally published (in Japanese) at forge.workstyle.tech . Building an Unmanned System for 3D Avatar Live Streaming We're developing an unmanned…
Pure JAX on G5g: Serving Gemma 4 on Graviton and a T4G
This article provides a step by step deployment guide for serving Google's Gemma 4 on an AWS EC2 G5g instance using pure JAX. The code is here: gith…
Latest Trends in GPU Cloud Cost Reduction and Containerized Data Centers
📝 Originally published (in Japanese) at forge.workstyle.tech . Introduction In recent years, the demand for GPUs has surged with the widespread adop…
Choosing the Right GPU for Your Model — A Sizing Method, Not a Guess
Choosing the Right GPU for Your Model — A Sizing Method, Not a Guess OK, you're a senior SRE, you've been hearing incessantly about AI models, but a…
I Reviewed 100 Reddit Threads About GPU Clouds. Price Was Only Part of the Story.
When engineers compare GPU clouds, the conversation usually starts with three familiar numbers: GPU model VRAM Hourly price Those numbers matter. Bu…
KV Cache Quantization: I Stretched Qwen 35B's Context 8 on 12GB VRAM
600 MiB of headroom My RTX 4070 was running Qwen 35B beautifully after the --cpu-moe trick from a previous run. The tokens/sec were where I wanted t…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R‑Vision. В первой части эксперимента мы выяснили, как на …
Разворачиваем MiniMax-M2.7 на GPU-инфраструктуре с поддержкой S3
Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется,…
Почему следующий этап ИИ-бума будет совсем не про GPU
Первые два года ИИ-бума инвесторы покупали «железо». Теперь рынок начинает искать следующий источник роста. Главной становится не максимальная произ…
Hermes + Qwen3.6-27B: как я собрал первую линию email-поддержки
Я решил в качестве эксперимента собрать первую линию email-поддержки вокруг локальной LLM — без файн-тюнинга и попыток сразу заменить всю службу под…
GPUs for AI in 2026: NVIDIA, AMD, Intel Compared
The AI hardware landscape has shifted significantly in 2026, with NVIDIA, AMD, and Intel all competing for developers who need GPUs capable of runni…
Linux 7.2 Improves Multi-GPU Displays, M3 Support, Mesa Rusticl Defaults Arm Mali
Linux 7.2 Improves Multi-GPU Displays, M3 Support, Mesa Rusticl Defaults Arm Mali Today's Highlights This week's hardware and driver news highlights…
backdrop-filter: blur() — как он работает и как его правильно использовать
Cвойство backdrop-filter: blur() под капотом работает совсем не так, как интуитивно кажется, и это приводит к багам, которые нелегко воспроизвести и…
Всё, что вы хотели знать про локальные LLM, но боялись заинференсить
LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8…
Запускаем LLM локально на майнинг ферме из 4 GPU
В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, нес…
DGX Spark hitting 83 C under sustained Ollama load — solved by clock-locking via nvidia-smi -lgc
DGX Spark hitting 83°C under sustained Ollama load — solved by clock-locking via nvidia-smi -lgc TL;DR: GB10 in the DGX Spark has no user-exposed po…
Тесты бюджетных сборок для ИИ до 100к рублей
Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде…
Как мы валидировали сервер YADRO для NVIDIA H100 PCIe
Недавно на рынке появились PCIe-карты NVIDIA H100: они позиционируются как решения на базе SXM-чипов, извлеченных из HGX-модулей. Но точно ли их про…
Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе
Почти каждый месяц очередной стартап, производящий серверное железо, объявляет о своих ноу-хау. Естественно, ориентированных на задачи инференса и о…
Новые серверы в облаке mClouds: обзор Dell R7725 с 64-х ядерными AMD EPYC 9555
В начале 2026 года мы добавили к облачной платформе серверы Dell R7725. В основе — новейшие 64-х ядерные процессоры AMD EPYC …
Blackwell MLPerf Dominance, Intel Nova Lake Compute Runtime, & Weston 16 Vulkan HDR
Blackwell MLPerf Dominance, Intel Nova Lake Compute Runtime, & Weston 16 Vulkan HDR Today's Highlights NVIDIA's Blackwell architecture showcased…