RU

Влияние транспорта KV‑переноса на производительность PD‑disaggregation на примере инференса MiniMax‑M3

Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на пр…

llm inferencePD-disaggregationKV-cacheRDMAInfiniBandGPUDirectTCPTTFTsglangminimax-m3
Habr
RU

Гибридные трансформеры под нагрузкой: где Gated DeltaNet проигрывает full attention

Гибридные модели обещают простую вещь. Память под контекст перестаёт расти линейно с его длиной, значит длинный контекст дешевеет, значит на ту же к…

vLLMKV-кешпрефиксное кешированиеGated DeltaNetгибридные моделиинференс LLMQwen3TTFTfp8llm