Tech News — Latest News

Все EN RU

Свой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег

Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не&nb…

vLLM LiteLLM prefix caching KV-cache локальные LLM инференс LLM Qwen агентская разработка RTX PRO 6000 claude

«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи

Дано: стихотворение. Тема — «тщетность накопления жизненного опыта», амфибрахий, четыре строки. Заканчивается словом «тосок». Такого слова в русском…

LLM LoRA файнтюнинг Gemma генерация стихов силлабо-тоника рифма ограниченное декодирование reward hacking vLLM

Миллион токенов за 1 ₽ или за 20 726 ₽: одна RTX 5090, и почему API все равно дешевле

Разговор повторяется раз в месяц: платим за API прилично, может, купим свою карту? Сел и разложил все в цифры. Час своей 5090 в рублях, пропускная с…

RTX 5090 локальный инференс стоимость токена vLLM KV-кэш окупаемость GPU LLM на своём железе DeepSeek YandexGPT TCO

DeepSeek 0731 на DGX Spark: разгоняю до 68 tok/s и разбираюсь, почему у автора карточки 57

TL;DR Железо:  2× NVIDIA DGX Spark (GB10, SM121), 128 GB unified номинально и около 122 GiB видимых системе на ноду, QSFP 200G /…

DGX Spark vLLM LLM инференс бенчмарк спекулятивное декодирование GB10 MoE локальные нейросети speculative decoding DeepSeek 0731

Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же к…

vLLM KV-кеш префиксное кеширование Gated DeltaNet гибридные модели инференс LLM Qwen3 TTFT fp8 llm

350+ моделей без смены SDK: зачем разработчику слой абстракции над LLM‑провайдерами

Привет, Хабр! На связи команда Caila  — платформы Just AI, объединяющей LLM и другие генеративные модели, включая модели для создания…

LLM API OpenAI API Anthropic Claude API-гейтвей интеграция с LLM vLLM безопасность llm openrouter

Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching

В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост , один символ в системном промпте обнуляет вес…

prompt caching KV-cache prefix caching PagedAttention vLLM LLM инференс LLM GPU prefill оптимизация

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

Неважно, где ты гоняешь инференс: в проде на vLLM под нагрузкой или в локалке на llama.cpp, пытаясь втиснуть Llama-3 в 4 ГБ видеопамяти — вопрос все…

LLM инференс бенчмаркинг vLLM llama.cpp метрики воспроизводимость энергоэффективность производительность gpu

[Перевод] Нехватка CUDA-памяти при обучении с GRPO: как перестать гадать и начать считать

Ошибка CUDA out of memory при обучении LLM обычно превращается в бесконечный цикл случайных правок: уменьшили batch size, урезали sequence length, с…

NLP LLM GRPO обучение с подкреплением CUDA out of memory vLLM оптимизация GPU памяти дообучение моделей LoRA PyTorch

Архитектура AI-сервисов: почему монолит убивает latency и GPU

Ваш AI‑чат или автокомплит тормозит при 50 запросах в секунду? Монолит убивает GPU и латенси? В этом туториале — реальная а…

AI-сервисы LLM инференс high-load latency GPU vLLM SGLang continuous batching admission control

Как мы собрали локальный AI-сервер на 4× RTX 4090 с водянкой — кейс для крупного клиента

Авантюра на 4× RTX 4090, два блока питания и водяное охлаждение - машину, которую мы собрали для крупного клиента, еле-еле подняли вдвоём. История о…

RTX 4090 vLLM on-premise локальный AI сервер локальный ИИ сервер водяное охлаждение LLM inference GPU сервер речевая аналитика self-hosted LLM

Почему self-hosted LLM падает в проде

Привет! Меня зовут Андрей Пахомов, я разработчик в AI Platform Битрикс24. Сегодня расскажу, почему self-hosted LLM ломается в проде, где на самом де…

self-hosted LLM LLM в продакшене vLLM observability мониторинг LLM

Последние новости