Как я собрал LLM-печку на 4 GPU, и на что она способна
Всем привет, недавно я собрал и сейчас активно использую ПК для локального запуска хоть сколько-то серьезных LLM, и захотелось поделиться этим опытом …
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
claude
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
tutorial
typescript
webdev
After Nvidia’s $20B not-acqui-hire, AI chip startup Groq reportedly raising $650M
Chipmaker Groq is looking to raise $650 million in internal funding as it pivots from hardware to focus more on AI inference, the process of refining …
After Nvidia’s $20B not-aqui-hire, AI chip startup Groq reportedly raising $650M
Chipmaker Groq is looking to raise $650 million in internal funding as it pivots from hardware to focus more on AI inference, the process of refining …
CUDA 13.3 Lands, AI Writes Blackwell Kernels, & FP4 VRAM Optimization for LLMs
CUDA 13.3 Lands, AI Writes Blackwell Kernels, & FP4 VRAM Optimization for LLMs Today's Highlights NVIDIA releases CUDA Toolkit 13.3, bringing new …
[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префил…
Экономия GPU-часов в 2,5 раза, уход ИИ в бэкенд и новые стандарты агентских систем: ML-дайджест
Пока инфо-бизнесмены продают очередные курсы по промпт-инжинирингу, в индустрии пересобирают саму архитектуру ИИ-систем. Главные вызовы сегодня л…
288-ядерный Xeon 6+ и другие серверные CPU
В марте 2026 года на конференции MWC компания Intel показала серверные процессоры Xeon 6+ с кодовым названием Clearwater Forest, которые официально по…
FlashAttention CUDA Kernel, Strix Halo MOE Boost, & NVIDIA DLSS 4.5 Driver Update
FlashAttention CUDA Kernel, Strix Halo MOE Boost, & NVIDIA DLSS 4.5 Driver Update Today's Highlights This week, discover a deep dive into FlashAtt…
20 лет видеокарт в цифрах: как росли FLOPS и TDP и кто вёл в дуэли NVIDIA vs AMD (+ открытый датасет на 13 500 GPU)
Мы свели в одну базу характеристики 13 566 видеокарт — от GeForce 256 (1999) до Blackwell и MI355X (2025) — и посмотрели, как за 20 лет менялась индус…
Tesla P40 in a Homelab: 24GB of Inference on a Budget
The Tesla P40 is a seductive piece of hardware: 24GB of VRAM for a fraction of the cost of a modern RTX card. But after three weeks of fighting with i…
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 — Запуск локальных моделей ИИ
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 - Запуск локальных моделей ИИ Читать далее
RTX 5080 Undervolt Benchmarks, CGO-Free CUDA API Binding, & AMD GPU Compatibility Fix
RTX 5080 Undervolt Benchmarks, CGO-Free CUDA API Binding, & AMD GPU Compatibility Fix Today's Highlights Today's top GPU news features detailed un…
Diffusion Language Models: How NVIDIA Nemotron-Labs Diffusion Shatters the Autoregressive Speed Ceiling
Meta Description: Diffusion language models (DLMs) are rewriting LLM inference. Dive deep into NVIDIA's Nemotron-Labs Diffusion — how block-wise atten…
From Manual RAG to Real Retrieval — Embedding-Based RAG with NVIDIA NIM
In Part 1 , we built a USC campus assistant by pasting a five-line knowledge base directly into the prompt. That works when "the data" fits in your he…
RTX 5090 Cooling, BeeLlama VRAM Opts, Resizable BAR Performance Gains
RTX 5090 Cooling, BeeLlama VRAM Opts, Resizable BAR Performance Gains Today's Highlights NVIDIA's upcoming RTX 5090 cooling solutions are detailed, wh…
Jensen Huang says he’s found a ‘brand new’ $200B market for Nvidia
The next big thing for Nvidia will be CPUs for AI agents, $200 billion worth, CEO Jensen Huang predicts.
Nvidia posts another record quarter, reveals $43 billion of holdings in startups
Nvidia announced another record revenue figure after market close on Wednesday, but forecasted that revenue growth would slow in the following quarter…
Who Wins the Future: Chips vs Frontier LLMs (Monolith 2026)
The intelligence race has two fronts: silicon and software. Understanding which one is actually the bottleneck might be the most important question in…
Intel Xe3P Leaks 160GB LPDDR5X; FlashAttention-2 in CuTe & Custom CUDA GPT-2 Engine
Intel Xe3P Leaks 160GB LPDDR5X; FlashAttention-2 in CuTe & Custom CUDA GPT-2 Engine Today's Highlights Intel's Xe3P "Crescent Island" GPU leaks re…
Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
Главный страх любого инженера ошибка CUDA Out of Memory . Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Pyt…
GPU Bottleneck Analyzer, NVIDIA Rubin VRAM Demands, and Qwen VRAM Optimization
GPU Bottleneck Analyzer, NVIDIA Rubin VRAM Demands, and Qwen VRAM Optimization Today's Highlights This week's top GPU news features a new open-source …
Im a Nvidia Developer Champion!
I’m excited to share that I’ve been selected as an NVIDIA Developer Champion. Over the past few years, a large part of my work has revolved around dev…
GPU Hardware & Driver Update: RTX 5090 Benchmarks, llama.cpp MTP, Windows 11 Fix
GPU Hardware & Driver Update: RTX 5090 Benchmarks, llama.cpp MTP, Windows 11 Fix Today's Highlights This week's top GPU news features practical pe…
One Open Source Project a Day (No. 66): NVIDIA Video Search and Summarization - Building GPU-Accelerated Vision Agents
Introduction "Video is the last blue ocean of data and the most challenging source of unstructured information." This is the No.66 article in the "One…
Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax
Итак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользователей. Закономерно возникает вопрос — а на чем запустить инфере…
99% of Requests Failed and My Dashboard Showed Green
In this blog post, we will see how to use NVIDIA AIPerf to expose a hidden performance problem that most LLM deployments never catch until real users …
Ransomware hackers claim breach at Foxconn, a major electronics manufacturer for Apple, Google, and Nvidia
A ransomware group has claimed responsibility for hacking the electronics manufacturing giant Foxconn, and is attempting to extort the company.
Чего ждать от нейронного рендеринга, и так ли плох DLSS 5
Мартовский анонс DLSS 5 стал настоящей лакмусовой бумажкой. Вся «аналитика» так называемых лидеров мнений сводилась к сбору фактов и мнений под заране…
RTX 5080 Launched, Rust for CUDA, & LLM GPU Scheduling Deep Dive
RTX 5080 Launched, Rust for CUDA, & LLM GPU Scheduling Deep Dive Today's Highlights This week's top GPU news highlights a new GeForce RTX 5080 var…
DeepSeek-V4-Flash Benchmarks, FlashRT CUDA Runtime, & V100 LLM Performance
DeepSeek-V4-Flash Benchmarks, FlashRT CUDA Runtime, & V100 LLM Performance Today's Highlights This week highlights significant advancements in GPU…