AI & ML — Tech News

All EN RU

Локальные LLM на Arch Linux и как увеличить скорость генерации в 20 раз

Приветствую всех читателей Хабра, в этой статье я хочу поделиться своим опытом в запуске локальных LLM, протестировать работоспособность инт…

arch linux llama.cpp ollama qwen3.6 gemma4 github huggingface intel arc b580

Claude Code с локальными Qwen3.6 на AMD Strix Halo: полное руководство по настройке

Всем привет! Продолжаю тему локальных LLM. В предыдущей статье  мы сравнивали железо для инференса — Nvidia DGX Spark, Mac Studio M3 Ultra и Stri…

claude-code strix halo ии-агенты программирование antropic qwen3.6 локальный ии llama.cpp vibecoding

Qwen3.6 MTP весит на +0.3 Гб больше, а даёт ускорение в ~2 раза. С 60 t/s до 130 t/s для Qwen3.6 27B без искажений

В llama.cpp добавили поддержку MTP Qwen3.6. Дополнительные слои Multi-Token Prediction позволяют сгенерировать сразу несколько токенов за 1 проход, чт…

искусственный интеллект mtp llama.cpp qwen qwen3.6

Локальные LLM в реальной работе: Gemma 4, Qwen 3.6 и Qwen Coder

Привет, меня зовут Вячеслав. Я интересуюсь локальными LLM и тем, как они ведут себя в реальных задачах — не на синтетических …

llm llm-модели llama.cpp gemma4 qwen3.6 qwen opencode