DevOps — Tech News

All EN RU

[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов

С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префил…

vk cloud llm kubernetes inference gpu nvidia дезагрегированный инференс оркестрация автомасштабирование планирование подов

Оркестрация runner-ов на Nomad

Некоторое время назад мы столкнулись с типовой проблемой очередей при исполнении пайплайнов. Задачи упирались друг в друга, мешая выполнять операции п…

devops nomad gitlab-runner оркестрация iac hashicorp системное администрирование docker микросервисы python

Kubernetes: архитектура и абстракции — полный гайд

Почему Kubernetes стал стандартом оркестрации контейнеров? Разбираем архитектуру без скучной теории: Control Plane, поды, сервисы, деплойменты — на ре…

devops kubernetes архитектура контейнеры оркестрация микросервисы best-practices