RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache
В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache
В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…
[Перевод] Налог на координацию: почему ИИ ускоряет сотрудников, но почти не влияет на прибыль компании
Большинство крупных организаций последние несколько лет активно инвестировали в ИИ. Они запускали ИИ-помощников, проводили пилоты и все шире внедрял…
VK Data Platform под капотом: как устроена платформа для Data Lakehouse
Отечественный рынок решений Data Lakehouse активно развивается: после периода пилотных проектов наблюдается массовый переход к промышленным внедрени…
VK Data Platform под капотом: как устроена платформа для Data Lakehouse
Отечественный рынок решений Data Lakehouse активно развивается: после периода пилотных проектов наблюдается массовый переход к промышленным внедрени…
Триаж уязвимостей в AI-платформе: почему календарный SLA сломался и что ставить вместо него
10 июня 2026 года CISA выпустила директиву BOD 26-04 Prioritizing Security Updates Based on Risk . Новый документ отменяет BOD 19-02 и BOD 22-01 — д…
[Перевод] Ваша платформа Kubernetes готова к контейнерам. Готова ли она к ИИ?
Kubernetes дал платформенным командам единообразный способ развёртывать, масштабировать и эксплуатировать контейнеризированные приложения. Теперь мн…
Kubernetes без границ: Managed Kubernetes как вычислительный центр для ИИ
Эволюция искусственного интеллекта дошла до стадии, когда загрузка весов нейросети из открытого репозитория сводится к нескольким кликам, тогда как…
AI-агент в проде: песочница, RBAC и egress-контур вместо надежды на промпт
По прогнозу Gartner, к концу 2026 года task-specific AI-агенты будут встроены в 40% корпоративных приложений против менее чем 5% в 2025-м по оценке…
Bucket Access Policy: когда авторизацию возвращают в хранилище, а прокси выключают
У нас в публичном облаке VK Cloud у каждого бакета Object Storage есть Bucket Access Policy. Это набор правил в формате JSON, который лежит на самом…
Bucket Access Policy: когда авторизацию возвращают в хранилище, а прокси выключают
У нас в публичном облаке VK Cloud у каждого бакета Object Storage есть Bucket Access Policy. Это набор правил в формате JSON, который лежит на самом…
[Перевод] Как вывести YAML для Kubernetes в формате KYAML и зачем это может понадобиться
YAML уже много лет остаётся стандартным способом писать манифесты Kubernetes. Любой пример, туториал и файл конфигурации, которые попадаются на глаз…
Bucket Access Policy: когда авторизацию возвращают в хранилище, а прокси выключают
Бакет в S3 — не просто папка для файлов, а ресурс, на котором хранилище принимает решение о доступе к объектам. Пока доступ контролирует только ngin…
Локальный ИИ-агент в своём контуре: Ollama плюс OpenClaw на серверном GPU
Однажды за один вечер мне пришлось разобрать двенадцать ошибок, и почти все прятались в конфигурации и связях между компонентами. Модель отвечала пу…
Локальный ИИ-агент в своём контуре: Ollama плюс OpenClaw на серверном GPU
Однажды за один вечер мне пришлось разобрать двенадцать ошибок, и почти все прятались в конфигурации и связях между компонентами. Модель отвечала пу…
[Перевод] Pods как Workers, а не агенты: переосмысление единицы развёртывания для ИИ-агентов в Kubernetes
Команда VK Cloud перевела материал о посте Lin Sun в блоге CNCF: остаётся ли Pod правильной единицей развёртывания, идентичности и жизненного цикла…
[Перевод] Теневой ИИ в CI/CD: моделирование угроз на пути от ноутбука разработчика до Kubernetes
Искусственный интеллект становится частью повседневной поставки ПО — часто ещё до того, как становится частью архитектуры безопасности. У этого разр…
Обзор технологий S3-хранилища: как изменился подход к хранению данных и обеспечению их безопасности
Объектные хранилища, работающие по протоколу S3, уже давно стали де-факто стандартом для работы с неструктурированными данными — от бэкапов корпорат…
Обзор технологий S3-хранилища: как изменился подход к хранению данных и обеспечению их безопасности
Объектные хранилища, работающие по протоколу S3, уже давно стали де-факто стандартом для работы с неструктурированными данными — от бэкапов корпорат…
Как восстановить KRaft-кворум после потери большинства контроллеров
Представьте себе баг-репорт: все шесть подов в статусе 1/1 Running, Readiness зелёный, kafka-agent на брокерах отдаёт 204. А кластер мёртв: оператор…
Как восстановить KRaft-кворум после потери большинства контроллеров
Представьте себе баг-репорт: все шесть подов в статусе 1/1 Running, Readiness зелёный, kafka-agent на брокерах отдаёт 204. А кластер мёртв: оператор…
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending
В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…
Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending
В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…
[Перевод] Работа с AI/ML-нагрузками в Kubernetes: плагин Headlamp для Kubeflow
Kubernetes незаметно стал платформой по умолчанию для ИИ и машинного обучения. Запускаете ли вы серверы notebook-ов для дата-сайентистов, планируете…
[Перевод] Защита CI/CD для open source-проекта: запираем зависимости
Команда VK Cloud перевела второй пост из серии трёх частей о том, как Cilium укрепляет свой CI/CD-конвейер. Первая часть рассказывала про управление…
[Перевод] Создание кластер-осведомлённого ИИ-агента с Kubernetes, Argo CD и GitOps
Команда VK Cloud перевела разбор запуска self-hosted (размещаемого на собственных мощностях), read-only ИИ-агента внутри кластера Kubernetes, где вс…
GPU vs vGPU: что выбирать для быстрого запуска AI-сценариев и контроля над данными
Привет, Хабр. Меня зовут Дмитрий Сергеев. Я менеджер продукта «виртуальные серверы» (GPU) в компании VK Tech. Одна из ключевых проблем внедрения ней…
GPU vs vGPU: что выбирать для быстрого запуска AI-сценариев и контроля над данными
Привет, Хабр. Меня зовут Дмитрий Сергеев. Я менеджер продукта «виртуальные серверы» (GPU) в компании VK Tech. Одна из ключевых проблем внедрения ней…