Programming

Latest Programming news from Tech News

All topics AI agents ai api architecture automation backend beginners career database devchallenge devops discuss javascript llm machinelearning mcp opensource performance productivity programming python react rust security showdev testing tutorial typescript webdev
All EN RU
RU

Влияние транспорта KV‑переноса на производительность PD‑disaggregation на примере инференса MiniMax‑M3

Привет! Проводил тестирование на рабочих стендах и хочу поделиться своими результатами с Habr. В работе исследуется влияние транспорта KV-кэша на пр…

llm inferencePD-disaggregationKV-cacheRDMAInfiniBandGPUDirectTCPTTFTsglangminimax-m3
Habr
RU

Топ вопросов с NLP собеседований: архитектуры LLM, инференс и оптимизация

На NLP/LLM собеседованиях все чаще проверяют не только знание трансформеров, но и понимание того, как устроены современные GPT-like модели: почему б…

LLMархитектура LLMинференс LLMускорение LLMоптимизация LLMTransformerFlashAttentionKV-cacheквантизация LLMMixture of Experts
Habr
RU

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите

Каждый из вас, кто работал с Claude или с ChatGPT, смотрел на свои лимиты Или задавался вопросом «Да как один запрос съел 10% от лимита» Я потратил…

LLMMoEactive-параметрыKV-cacheинференс LLMoutput-токеныreasoning-токеныVRAMclaude codecodex