RU

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…

vk cloudkubernetesоблакоvk techLLM-инференсKV-cacheмаршрутизация запросовprefix-aware routingGPUvLLM
Habr
RU

RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache

В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…

vk cloudkubernetesоблакоvk techLLM-инференсKV-cacheмаршрутизация запросовprefix-aware routingGPUvLLM
Habr
RU

LLM работает не на одной видеокарте: анатомия AI-инфраструктуры 2026

Почему 70B-модель может поместиться в память и всё равно тормозить под нагрузкой? Разбираем AI-инфраструктуру 2026 года по слоям: HBM и KV-кеш, pref…

LLMGPUAI-инфраструктураNVIDIANVLinkKV-кешинференсMixture of ExpertsDeepSeek-V3HB
Habr
RU

[Перевод] Чьи это GPU: безопасные метрики с самообслуживанием для мультитенантного Kubernetes

«Мы вообще пользуемся этими штуками?» Этот вопрос прозвучал на разборе расходов на GPU — самой крупной статьи инфраструктурного счёта, и никто не см…

vk cloudKubernetesPrometheusGPUмультитенантностьмониторингPromQLRBACизоляция метрикremote write
Habr
RU

5 российских облаков для запуска своих ИИ-моделей в 2026 году

Сравниваем immers.cloud, Selectel, Cloud.ru, VK Cloud и Timeweb Cloud: GPU, обучение и инференс моделей, инструменты ML, условия оплаты и ограничени…

Машинное обучениеИскусственный интеллектОблачные технологииGPUПодборки
Tproger
RU

Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт

Высокая загрузка GPU ещё не означает, что инфраструктуре не хватает ресурсов. В продакшене значительная часть времени может уход…

LLMинференсмашинное обучениеMLOpsGPUvLLMKubernetesнейронные сетиоптимизацияквантование
Habr
RU

[Перевод] Ваша платформа Kubernetes готова к контейнерам. Готова ли она к ИИ?

Kubernetes дал платформенным командам единообразный способ развёртывать, масштабировать и эксплуатировать контейнеризированные приложения. Теперь мн…

vk cloudKubernetesИИ-нагрузкиплатформенная инженерияGPUгетерогенные вычисленияGitOpsCI CDobservabilityинференс
Habr
RU

Cloud.ru запустила Evolution Stack.ML для обучения ИИ-моделей в гибридном облаке

Cloud.ru вывела в коммерческую эксплуатацию платформу Evolution Stack.ML для обучения ИИ-моделей. Для кого решение и какие цифры приводит компания.…

Машинное обучениеОблачные технологииИнновацииКибербезопасностьGPUИнфраструктураНовости
Tproger
RU

От GPU к платформе: как Selectel строит AI-инфраструктуру для бизнеса

Selectel анонсировал новый AI-сервер и публичный каталог LLM на конференции «MLечный путь». Разбираемся, как сбалансированная инфраструктура и партн…

КонференцииИскусственный интеллектDevOpsОблачные технологииАналитикаGPUСтатьи
Tproger