RU

Миф о «равных весах»: что на самом деле скрывается внутри малых моделей

Последние годы развитие LLM шло по пути экстенсивного масштабирования: считалось, что чем больше весов и данных, тем умнее модель. В индустрии даже сл…

mlopsselectelllm-моделиqwenphi-4mistralgpt-ossdeepseekaiai-агенты
Habr
RU

Qwen3.6 MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений

В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, чт…

искусственный интеллектmtpllama.cppqwenqwen3.6
Habr