Tech News — Latest News

Все EN RU

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…

vk cloud kubernetes облако vk tech LLM-инференс KV-cache маршрутизация запросов prefix-aware routing GPU vLLM

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

vk cloud kubernetes облако vk tech LLM-инференс KV-cache маршрутизация запросов prefix-aware routing GPU vLLM

[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM

Большинство инструкций по локальному запуску LLM сводятся к одной-двум командам: вставьте их в терминал, дождитесь загрузки модели и готово. Такой п…

vLLM qwen3 Docker CUDA wsl2 локальные llm GPU inference openai-compatible api

Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше

Мы до сих пор сидим на «старой» модели, и коллеги спрашивают: почему? Чтобы ответить честно, пришлось прогнать семь квантов через шесть групп тестов…

LLM vLLM инференс локально Qwen Humo

Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт

Высокая загрузка GPU ещё не означает, что инфраструктуре не хватает ресурсов. В продакшене значительная часть времени может уход…

LLM инференс машинное обучение MLOps GPU vLLM Kubernetes нейронные сети оптимизация квантование

Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)

В сентябре 2026 года на Hugging Face есть 3 модели, которые хочется поставить на пару DGX Spark под Claude Code: DeepS…

DGX Spark GB10 vLLM NVFP4 MoE тензорный параллелизм Claude Code prefix caching спекулятивное декодирование локальные LLM

Запустить LLM локально: что считать до покупки видеокарты?

Мощная видеокарта не всегда означает быстрый локальный запуск LLM. Разбираемся, почему GPU может простаивать, как на производите…

локальный инференс большие языковые модели LLM машинное обучение нейросети GPU квантование моделей Ollama llama.cpp vLLM

Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями

Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько…

LLM inference vLLM CUDA ROCm DGX Spark AI-агенты ASR KV-кэш локальный ИИ

LLM зацикливается: как найти причину, не трогая параметры?

LLM в продакшене может выглядеть стабильной неделями, а затем начать зацикливаться на одном абзаце, упираться в лимит токенов и…

LLM большие языковые модели генерация текста искусственный интеллект машинное обучение vLLM нейросети промпты инференс автоматизация

Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не&nb…

vLLM LiteLLM prefix caching KV-cache локальные LLM инференс LLM Qwen агентская разработка RTX PRO 6000 claude

«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи

Дано: стихотворение. Тема — «тщетность накопления жизненного опыта», амфибрахий, четыре строки. Заканчивается словом «тосок». Такого слова в русском…

LLM LoRA файнтюнинг Gemma генерация стихов силлабо-тоника рифма ограниченное декодирование reward hacking vLLM

Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле

Разговор повторяется раз в месяц: платим за API прилично, может, купим свою карту? Сел и разложил все в цифры. Час своей 5090 в рублях, пропускная с…

RTX 5090 локальный инференс стоимость токена vLLM KV-кэш окупаемость GPU LLM на своём железе DeepSeek YandexGPT TCO

DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57

TL;DR Железо:  2× NVIDIA DGX Spark (GB10, SM121), 128 GB unified номинально и около 122 GiB видимых системе на ноду, QSFP 200G /…

DGX Spark vLLM LLM инференс бенчмарк спекулятивное декодирование GB10 MoE локальные нейросети speculative decoding DeepSeek 0731

Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же к…

vLLM KV-кеш префиксное кеширование Gated DeltaNet гибридные модели инференс LLM Qwen3 TTFT fp8 llm

350+ моделей без смены SDK: зачем разработчику слой абстракции над LLM‑провайдерами

Привет, Хабр! На связи команда Caila  — платформы Just AI, объединяющей LLM и другие генеративные модели, включая модели для создания…

LLM API OpenAI API Anthropic Claude API-гейтвей интеграция с LLM vLLM безопасность llm openrouter

Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост , один символ в системном промпте обнуляет вес…

prompt caching KV-cache prefix caching PagedAttention vLLM LLM инференс LLM GPU prefill оптимизация

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

Неважно, где ты гоняешь инференс: в проде на vLLM под нагрузкой или в локалке на llama.cpp, пытаясь втиснуть Llama-3 в 4 ГБ видеопамяти — вопрос все…

LLM инференс бенчмаркинг vLLM llama.cpp метрики воспроизводимость энергоэффективность производительность gpu

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, с…

NLP LLM GRPO обучение с подкреплением CUDA out of memory vLLM оптимизация GPU памяти дообучение моделей LoRA PyTorch

Архитектура AI-сервисов: почему монолит убивает latency и GPU

Ваш AI‑чат или автокомплит тормозит при 50 запросах в секунду? Монолит убивает GPU и латенси? В этом туториале — реальная а…

AI-сервисы LLM инференс high-load latency GPU vLLM SGLang continuous batching admission control

Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о…

RTX 4090 vLLM on-premise локальный AI сервер локальный ИИ сервер водяное охлаждение LLM inference GPU сервер речевая аналитика self-hosted LLM

Почему self-hosted LLM падает в проде

Привет! Меня зовут Андрей Пахомов, я разработчик в AI Platform Битрикс24. Сегодня расскажу, почему self-hosted LLM ломается в проде, где на самом де…

self-hosted LLM LLM в продакшене vLLM observability мониторинг LLM

Последние новости

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM

Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше

Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт

Выбор агентской модели для кластеров из 2× DGX Spark (сентябрь 2026)

Запустить LLM локально: что считать до покупки видеокарты?

Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями

LLM зацикливается: как найти причину, не трогая параметры?

Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи

Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле

DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57

Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

350+ моделей без смены SDK: зачем разработчику слой абстракции над LLM‑провайдерами

Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Архитектура AI-сервисов: почему монолит убивает latency и GPU

Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

Почему self-hosted LLM падает в проде

Выход с сайта