KV Cache Quantization: I Stretched Qwen 35B's Context 8 on 12GB VRAM
600 MiB of headroom My RTX 4070 was running Qwen 35B beautifully after the --cpu-moe trick from a previous run. The tokens/sec were where I wanted the…
Testing & QA
⚑ Report a ProblemLatest Testing & QA news from Tech News
All topics
agents
ai
api
architecture
automation
aws
backend
beginners
career
claude
cybersecurity
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
testing
tutorial
typescript
webdev
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на GP…
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R‑Vision. В первой части эксперимента мы выяснили, как на п…
Разворачиваем MiniMax-M2.7 на GPU-инфраструктуре с поддержкой S3
Использовать нейросети для работы с внутренними данными компании — идея классная, но скармливать их внешним API банально опасно. Никому не хочется, чт…
Почему следующий этап ИИ-бума будет совсем не про GPU
Первые два года ИИ-бума инвесторы покупали «железо». Теперь рынок начинает искать следующий источник роста. Главной становится не максимальная произво…
Hermes + Qwen3.6-27B: как я собрал первую линию email-поддержки
Я решил в качестве эксперимента собрать первую линию email-поддержки вокруг локальной LLM — без файн-тюнинга и попыток сразу заменить всю службу подде…
GPUs for AI in 2026: NVIDIA, AMD, Intel Compared
The AI hardware landscape has shifted significantly in 2026, with NVIDIA, AMD, and Intel all competing for developers who need GPUs capable of running…
Linux 7.2 Improves Multi-GPU Displays, M3 Support, Mesa Rusticl Defaults Arm Mali
Linux 7.2 Improves Multi-GPU Displays, M3 Support, Mesa Rusticl Defaults Arm Mali Today's Highlights This week's hardware and driver news highlights i…
backdrop-filter: blur() — как он работает и как его правильно использовать
Cвойство backdrop-filter: blur() под капотом работает совсем не так, как интуитивно кажется, и это приводит к багам, которые нелегко воспроизвести и д…
Всё, что вы хотели знать про локальные LLM, но боялись заинференсить
LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8 ло…
Запускаем LLM локально на майнинг ферме из 4 GPU
В последнее время становится все более популярным локальный запуск LLM. У каждогг свои причины, но основные это: проблемы с западными сервисами, неста…
DGX Spark hitting 83 C under sustained Ollama load — solved by clock-locking via nvidia-smi -lgc
DGX Spark hitting 83°C under sustained Ollama load — solved by clock-locking via nvidia-smi -lgc TL;DR: GB10 in the DGX Spark has no user-exposed powe…
Тесты бюджетных сборок для ИИ до 100к рублей
Локальный ИИ не должен стоить как автомобиль. Мне стало интересно: возможен ли жизнеспособный инференс на CPU и что реально дают дешевые GPU (вроде Te…
Как мы валидировали сервер YADRO для NVIDIA H100 PCIe
Недавно на рынке появились PCIe-карты NVIDIA H100: они позиционируются как решения на базе SXM-чипов, извлеченных из HGX-модулей. Но точно ли их произ…
Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе
Почти каждый месяц очередной стартап, производящий серверное железо, объявляет о своих ноу-хау. Естественно, ориентированных на задачи инференса и обу…
Новые серверы в облаке mClouds: обзор Dell R7725 с 64-х ядерными AMD EPYC 9555
В начале 2026 года мы добавили к облачной платформе серверы Dell R7725. В основе — новейшие 64-х ядерные процессоры AMD EPYC 95…
Blackwell MLPerf Dominance, Intel Nova Lake Compute Runtime, & Weston 16 Vulkan HDR
Blackwell MLPerf Dominance, Intel Nova Lake Compute Runtime, & Weston 16 Vulkan HDR Today's Highlights NVIDIA's Blackwell architecture showcased u…
Железный дайджест за май: тесты B300, GPU от Alibaba и PCIe 8.0
Изучаем самые интересные новинки серверного железа за май, делимся техническими деталями и оцениваем перспективы свежих решений. В фокусе внимания — р…
Три фикса, четыре ошибки, один файл
# Как мы четыре раза неправильно диагностировали зависание на джобе 281 339 Несколько месяцев назад я писал, [как мы четыре раза неправильно чинили ме…
Cколько железа нужно ИИ-агенту? Как мы считали ресурсы для on-premise LLM и почему калькуляторы ошиблись в 5 раз
На связи Сергей Смирнов, AI-инженер и основатель LLMStart.ru. Один из самых частых вопросов от бизнеса: «Сколько и какого железа нужно, чтобы разверну…
CUDA for AMD Lemonade, Intel Arc Pro Linux Gains, XPU Manager 2.0
CUDA for AMD Lemonade, Intel Arc Pro Linux Gains, XPU Manager 2.0 Today's Highlights Today's top GPU news highlights include AMD's Lemonade SDK gainin…
Flash Attention: what it does and why it matters
Flash Attention: what it does and why it matters Your training job is paying for an A100 at $3/hour. The loss is going down, gradients are flowing, an…
Vortex 3.0 RISC-V GPGPU, Pragtical SDL GPU Backend, NVIDIA RTX Spark Launch
Vortex 3.0 RISC-V GPGPU, Pragtical SDL GPU Backend, NVIDIA RTX Spark Launch Today's Highlights Today's top stories highlight significant advancements …
GPU_WORKLOAD_MISMATCH: A Novel Security Finding Category for AI Container Workloads
Defensive Publication: GPU_WORKLOAD_MISMATCH A Novel Security Finding Category for AI Container Workloads Author: Carnell Smith, Champtron Systems LLC…
Linux 7.1 Boosts Intel Arc, Flatpak Integrates ROCm, Vintage AMD Driver Refined
Linux 7.1 Boosts Intel Arc, Flatpak Integrates ROCm, Vintage AMD Driver Refined Today's Highlights Recent developments enhance GPU performance and acc…
I Tested 9 Serverless GPU Providers for AI Inference in 2026. Here's What I'd Actually Use
TL;DR If you're shipping AI inference and tired of babysitting GPUs, serverless is the way out. You deploy the model, the platform scales it from zero…
GPU Incident at 3am: eBPF Tracing from Page to Root Cause in 60 Seconds
TL;DR 3am page: GPU training pipeline missed its SLA. Datadog shows 95% GPU utilization. nvidia-smi agrees. Everything looks green, but the job is 3x …
Как мы четыре раза неправильно чинили мерцание при рендеринге 4,4 миллиона полигонов на wgpu
Уже год мы небольшой командой пишем на Rust + wgpu редактор топологий интегральных схем — что-то вроде KLayout, только с прицелом на российский рынок.…
Тестируем выделенный L40S и vGPU на 16 ГБ по производительности (llama.cpp, ComfyUI)
Сегодня в интернете какой только нет информации об искусственном интеллекте или его применении в разных сферах. Можно сказать, что он уже плотно вошел…
AMD Linux 7.2 Graphics & SteamOS VRR Drivers, NVIDIA Vera CPU Benchmarks
AMD Linux 7.2 Graphics & SteamOS VRR Drivers, NVIDIA Vera CPU Benchmarks Today's Highlights This week's top stories feature significant driver upd…