RU

Senior на бумаге, Junior в рантайме: как я тестировал локальные LLM на 120B параметров в Greenfield-проекте

Недавно я задался вопросом: можно ли организовать полноценный agent dev loop (то есть, цикл разработки агентов), используя только локальные модел…

llmgreenfieldprojectagent dev loopцикл разработки агентовopen sourceqwenагенты
Habr
RU

Выжать больше из локальных LLM. Ollama медленнее llama.cpp в 3 раза. UD_Q4_K_XL лучше чем Q4_K_M, а вес тот же и т.д

Самый просто способ запустить локальную LLM - это установить ollama или LM Studio. Это быстро и просто, но вы теряете и в скорости, и в качестве. Поче…

ik_llamallama.cppqwen3.6qwenлокальные нейросетиcmoellmагентыgemma4gemma
Habr