Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)
Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском же…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Полтора года и 100 миллиардов токенов спустя
Всем привет! Меня зовут Евгений, я работаю разработчиком в Университете Кембриджа. Почти полтора года назад я запустил llm7.io — изначально полность…
AI agents designed the chip that runs their inference
openTPU is an AI inference accelerator whose SystemVerilog, instruction set, compiler, bit-exact simulator and host stack were written by AI agents.…
Механизмы внимания в современных LLM
Почему современные LLM больше не используют один «обычный» Attention? Разбираем эволюцию механизмов внимания: MHA, GQA, MLA, local и sparse att…
Cached input растёт квадратично
Единственная причина, по которой современные авторегрессионные трансформеры вообще пригодны для инференса — это использование KV кэша…
Зачем Авито нужна своя Inference-платформа для ML/LLM-сервисов: PaaS vs отдельное решение
Привет, Хабр! Меня зовут Антон Алексеев , я ML Ops-инженер в Авито . В этой статье я разберу, почему существующий PaaS — отличный инструмент для веб…
Source: Inference provider Modal Labs closing in on $750M round at $15.75B valuation
The new financing is expected to more than triples the AI infrastructure startup's valuation from just four months ago.
Сколько стоит суверенитет
Коллеги всю неделю обсуждают релиз претрейна https://huggingface.co/yandex/AliceAI-Foundation-80B-A3B-Base https://habr.com/en/companies/yandex/arti…
Как сделать интерактивного агента с помощью KV‑кеш‑манипуляций
Обычно LLM работает строго последовательно: получает запрос, рассуждает и только после этого отвечает. Пока она думает, новая информация остаётся за…
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями
Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько…
Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM
Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длин…
Name the Blackwell serving cell you are actually in
On sm_120 and sm_121, a model that will not serve often fails in one cell: one runtime version, one MoE or GEMM backend, one quantization, one topol…
Я прогнал топ VRAM-калькуляторов для LLM — все ошибаются в одном и том же
Наивная формула «веса + KV < VRAM» промахивается по двум причинам, и обе стоят денег. Первая: движок (vLLM, SGLang, TensorRT-LLM) резервирует поч…
On-Device AI in Kotlin
In this Kotlin tutorial, you'll learn how to run a large language model (LLM) directly on a user's device: no server, no API key needed. We'll start…
[Перевод] OpenAI Jalapeño: Персональный чип OpenAI, который обогнал NVIDIA Blackwell
OpenAI создает свой чип Jalapeño: конец монополии Nvidia на инференс? SemiAnalysis выпустили разбор собственной аппаратной разработки OpenAI под код…
Больше памяти — не значит быстрее: prefill, decode и релиз Apple M5 Ultra
Мы пришли за инференсом? “RTX PRO 6000 обгонит новый Mac Studio почти во всём, кажется что пропускная способность памяти - единственное, где Apple к…
I Got 28 TPS Out of Free Kaggle GPUs. Here's What It Took.
I want to be upfront about something: this whole project runs on free Kaggle T4 notebooks, an AWS EC2 t3.micro relay that costs almost nothing, and…
Speculative Decoding and MTP: Why Guessing Is Free
I saw "MTP round-trip" on a checklist for a Megatron conversion pipeline and had no idea what it meant. Two acronyms, one hyphen, apparently importa…
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский , руководитель и MLOps-инженер команды ML-платформы в RWB. Мы занимаемся разработкой платфор…
what a turn actually costs me
Four models read every frame Harness sees. CLIP embeds it. PaddleOCR pulls the text. A dense-text model embeds that. A reranker sorts results when y…
Anthropic will design its own hardware to power Claude
Anthropic and OpenAI are racing to scale up while reducing dependence on Nvidia.
Инференс LLM: от KV-кэша до продакшен-деплоя
Привет! Я Саша Рыжов, MLOps-инженер в hh.ru , уже три года занимаюсь развитием инфраструктуры для искусственного интеллекта. Компании, которые разви…
local-llm: A Field Report on Running SOTA Models on Your Own Hardware
The most useful thing in jamesob/local-llm is not the GPU shopping list. It is the fifteen or so BIOS settings, kernel flags, and PCIe hacks that st…
You're Not Paying for Compute. You're Paying for Memory Bandwidth
TL;DR— Inference cost conversations obsess over FLOPs and token prices, but the real constraint on LLM serving is memory bandwidth— specifically the…
Как оптимизировать инференс LLM: кеширование, время ответа и GPU-ресурсы
Вы запустили LLM-инференс в продакшене. Поток запросов не менялся, нагрузка та же, что вчера, — а Time to First Token внезапно вырос в три ра…
Facing US export controls, China's DeepSeek plans to make its own chips
It's early, but the plan is to reduce dependency on Nvidia and Huawei.
Two labs race to make AI write whole paragraphs at once instead of word by word
Diffusion text models — which draft an entire block of text at once and then iteratively refine it, rather than generating one token at a time left…
KV Cache Is Eating Your VRAM — Here's How to Estimate It Before You Run Out
Every LLM inference engineer hits this wall eventually. You deployed a model, it works in testing, then production traffic arrives. Suddenly your 80…
Lossless, But Not Free: The Lossless, But Not Free — When Speculative Decoding Actually Pays Off (and When It Doesn't)
One of the hottest topics in LLM inference acceleration right now is Speculative Decoding . DSpark claims 60%–85% single-user speedup at the same th…
Extract Structured JSON from Messy Text with Telnyx AI Inference
Messy text is everywhere: support tickets, lead forms, emails, contracts, incident reports, call notes, Slack messages. The annoying part is that th…