RU

Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp

Я тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑м…

llama.cppgpt-ossлокальные моделиMoEвидеопамятьKV-кэшбенчмаркиGTX 1660
Habr