RU

Влияние транспорта KV‑переноса на производительность PD‑disaggregation на примере инференса MiniMax‑M3

Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на пр…

llm inferencePD-disaggregationKV-cacheRDMAInfiniBandGPUDirectTCPTTFTsglangminimax-m3
Habr