RU

Давай по новой, Миша: speculative decoding от черновика до проверки

Маленькая модель быстро набрасывает несколько следующих токенов, а большая проверяет всю пачку за один проход. Совпавшее оставляет, на первом расхож…

speculative decodingllmинференсeaglemedusavllmtransformerskv cachedflashоптимизация
Habr