Testing & QA — Tech News

Сжатие декодерных эмбеддеров: как ужать 8B до продакшена без потери recall

Декодерный эмбеддер 7–8B дает качество, но платит за него памятью, latency и деньгами. Разбираем все оси сжатия - int8, int4, binary + rescoring, PQ, …

сжатие эмбеддингов квантизация эмбеддинги embeddings RAG Qdrant Qwen3 binary quantization Matryoshka retrieval