PCIe 4.0 x8/x8 vs x16/x16 for Dual GPUs: Does Bandwidth Choke Local LLM Tensor Parallelism?
📌 The Executive Verdict: Does PCIe 4.0 x8/x8 Choke Dual-GPU Inference? In dual-GPU workstations running local LLMs under tensor parallelism (such as…
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4
This article gives a short background on Amazon SageMaker real-time endpoints, then measures Gemma 4 E2B's quantization-aware trained (QAT) checkpoi…
Gemma 4 on Amazon SageMaker: QAT Weights Decode 2.05x Faster Than bf16 on One L4
This article gives a short background on Amazon SageMaker real-time endpoints, then measures Gemma 4 E2B's quantization-aware trained (QAT) checkpoi…
Gemma 4 on a Tesla T4, Part 2: The Minimum GCE VM and a Script to Drive It
This article provides a step by step deployment guide for **Gemma 4 E2B * to a Tesla T4 hosted GPU enabled system. A suite of Python MCP tools is bu…
Давай по новой, Миша: speculative decoding от черновика до проверки
Маленькая модель быстро набрасывает несколько следующих токенов, а большая проверяет всю пачку за один проход. Совпавшее оставляет, на первом расхож…
Gemma 4 on a Tesla T4: QAT Weights Decode 1.79x Faster Than bf16
This article provides a step by step deployment guide for **Gemma 4 E2B * to a Tesla T4 hosted GPU enabled system. A suite of Python MCP tools is bu…
FastMCP Is Now MCPServer: Migrating a Python MCP Server to the MCP SDK 2.x
This article provides a step by step migration guide for a Python MCP server from the MCP Python SDK 1.x ( FastMCP ) to 2.x ( MCPServer ), followed…
KV Cache on 16 GB GPUs: Making Long Context Actually Fit
A model can advertise a 128K context window and still fail at 40K tokens on a 16 GB GPU. The architecture ceiling never promised that weights, KV ca…
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же
Наивная формула «веса + KV < VRAM» промахивается по двум причинам, и обе стоят денег. Первая: движок (vLLM, SGLang, TensorRT-LLM) резервирует поч…
From adapter to deployment: merging LoRA weights and serving with vLLM or a Space
A fine-tuned adapter sitting in a folder is not a product. FineTune Studio offers three inference paths — local, a vLLM server, or a Hugging Face Sp…
Deploying Inference Using NVIDIA Dynamo and vLLM
NVIDIA Dynamo is an open-source, high-throughput, low-latency inference framework for deploying large-scale generative AI and reasoning models acros…
vLLM v0.28.0: the breaking change small GPU users must read
vLLM v0.28.0 shipped on 26 August 2026 with 584 commits from 270 contributors (76 new) , and almost every headline in the release notes on GitHub is…
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes
Выход в продакшен с собственными языковыми моделями внутри корпоративного контура часто упирается в высокую стоимость GPU-оборудования и сложные рис…
3 бита вместо 16: разбираем TurboQuant и когда его реально стоит включать
В марте 2026 года Google публикует пост про алгоритм сжатия памяти для языковых моделей. Звучит скучно, правда? Но акции Micron, SanDisk, Samsung, S…
Serving Gemma4 with Rust on vLLM 🦀
This tutorial walks through installing and setting up the Rust toolchain for vLLM on an AWS EC2 G5g instance — Graviton2 (aarch64) with an NVIDIA T4…
Installing Rust for vLLM on Graviton: a G5g walk-through 🦀
This tutorial walks through installing and setting up the Rust toolchain for vLLM on an AWS EC2 G5g instance — Graviton2 (aarch64) with an NVIDIA T4…
Running Gemma 4 on EC2 G5g: Graviton2 AMD with NVIDIA GPU
A field report on serving Google's Gemma 4 E2B on AWS EC2 **G5g * — a Graviton2 (aarch64) host with an NVIDIA T4G (Turing, SM 7.5) GPU. Three obstac…
Hermes c локальными LLM vs GigaCode: сравниваем агентов на реальных PHP/Symfony-задачах
На YouTube очень часто мне попадаются видео, где сравнивают разные LLM для вайбкодеров: сделай 3D-аквариум с рыбками, напиши игру, слепи лендинг. Но…
Self-hosting a lite agent backend on one TPU: Gemma 4 E2B + vLLM on a v5e-1
Self-hosting a lite agent backend on one TPU chip A single Google Cloud TPU v5e chip — 16 GB of HBM, about $0.58/hour on spot — will serve google/ge…
Ускорение инференса энкодерной guard‑модели: TensorRT, Triton, vLLM, Ray Serve
Когда в системе есть узел между LLM и пользователем его скорость также важна, как и скорость самой LLM. Когда этот узел сам является модел…
Хватит сливать данные в Claude и GPT: как поднять свой on‑prem LLM
Представим на секунду, что есть проблема, которую над срочно пофиксить, в рабочем чате никто не отвечает, инженер, на котор…
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
Локальный запуск LLM для SOC: сколько инцидентов обработает одна GPU? Часть 2
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R‑Vision. В первой части эксперимента мы выяснили, как на …
Kimi K3 Open Weights Are Here: How to Self-Host the 2.8T-Parameter Model (Hardware, vLLM, and Data Sovereignty)
Kimi K3 Open Weights Are Here: How to Self-Host the 2.8T-Parameter Model On July 27, 2026, Moonshot AI released the open weights for Kimi K3 -- a 2.…
Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru , уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые разви…
What 90% Line-Rate Utilization on a Single 100GbE Port Means: Analyzing Network Bottlenecks in Inference Storage
In LLM inference clusters, the core bottleneck for KV Cache storage acceleration often lies not in the storage medium itself, but in network bandwid…
Gemma 4 E2B on a Single TPU v6e Chip: A Serving Deep Dive
Measured 2026-07-21 on vllm/vllm-tpu:nightly (vLLM 0.23.1rc1.dev1076), a GCE flex-start ct6e-standard-1t (one TPU v6e chip, 32 GB HBM) in europe-wes…
Локальный запуск LLM для SOC: сколько GPU действительно нужно?
Всем привет! На связи Сергей Иванов, аналитик технологий машинного обучения R-Vision. В этой статье разберем, почему для задач SOC можно начинать с…
Does a Second GPU Increase Ollama's Context Window? (Quadro P2000 + RTX 3090 Tested)
TL;DR Short version: no. I dropped a much older GPU ( Quadro P2000, 5GB, Pascal, 2016 ) next to an RTX 3090 (24GB, Ampere) on the same box, ran the…