RU

Почему дорогая LLM дороже: экономика инференса, которую видно в твоём 5-часовом лимите

Каждый из вас, кто работал с Claude или с ChatGPT, смотрел на свои лимиты Или задавался вопросом «Да как один запрос съел 10% от лимита» Я потратил не…

LLMMoEactive-параметрыKV-cacheинференс LLMoutput-токеныreasoning-токеныVRAMclaude codecodex
Habr
RU

А что если бы видеопамять можно было использовать как обычную RAM?

У меня 8 гигабайт оперативки. На бумаге звучит терпимо — ровно до того момента, пока не откроешь десятка два вкладок в хроме, рядом Figma, Slack, ещё …

RAMVRAMSwapОптимизация памятиВидеокартыGPU.ChromeНоутбукиGpuRamDriveФайл подкачки
Habr
RU

Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Huggi…

LLMVRAMllama.cppлокальные моделиквантованиеKV cacheGQAбенчмаркGPU