Testing & QA — Tech News

All EN RU

[Перевод] Как я объединил четыре Mac Studio в один компьютер с 1,5 ТБ – и запустил ИИ, который не влезает ни в одну видеокарту

Представляю вашему вниманию довольно необычный эксперимент: объединение четырех компьютеров Mac Studio в единый кластер с 1,5 ТБ общей памяти с помощь…

Mac Studio локальные LLM тензорный параллелизм Thunderbolt DeepSeek Kimi K2 Qwen3 timeweb_статьи_перевод

Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM

Как квантование ломает function-calling у LLM? Собрал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам за…

квантование function-calling Qwen3 Llama-3.2 BFCL QuantCall JSON-схема GBNF GGUF деградация модели

Сжатие декодерных эмбеддеров: как ужать 8B до продакшена без потери recall

Декодерный эмбеддер 7–8B дает качество, но платит за него памятью, latency и деньгами. Разбираем все оси сжатия - int8, int4, binary + rescoring, PQ, …

сжатие эмбеддингов квантизация эмбеддинги embeddings RAG Qdrant Qwen3 binary quantization Matryoshka retrieval

Хотел упростить мониторинг проектов и в отпуск — пришлось обучать свой LLM.Часть 2.Обучение

Продолжаем серию про файнтюнинг и создание DevOps-агента Oni. В прошлой части я встретился с реальностью — ни одна локальная модель не справилась с пр…

LLM файнтюнинг fine-tuning Qwen3 LoRA DevOps-агент обучение LLM catastrophic forgetting Unsloth AI-агент