Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
AI & ML
⚑ Report a ProblemLatest AI & ML news from Tech News
All topics
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Как деградирует продовый LLM-инференс: KV-cache, OOM и хвост p99
Демо нагрузки и реальная нагрузка различаются. Демо всегда быстрое — если поставить модель и прогнать пару запросов, то latency вас обрадует, а TTFT…
Разбор утечки памяти в StackExchange.Utils: как 4 КБ конфигурации съели 2 ГБ RAM
Привет, Хабр! Я Антон Пронькин, разработчик в команде развития сервисов продаж для юридических лиц в Т-Банке. Расскажу, как мы переносили конфигурац…
3rd OOM on the VPS: Parallel Builds and a flock Mutex Story
Scene: "the sites are down dude" Wednesday, May 7, afternoon. A message on my phone: "the sites are down dude." Quick check: my own blog (mustafaerb…