Tech News — Latest News

All topics - Искусственный интеллект, машинное обучение, нейросети - Новости сети - автомобили, мотоциклы, транспортные средства - вирусы, трояны, уязвимости в ПО, вопросы безопасности - игры - мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК - процессоры AI-агенты LLM Python ai ai-агенты claude linux llm open source python ruvds_статьи Новости Статьи автоматизация ии ии-агенты информационная безопасность искусственный интеллект машинное обучение нейросети программирование разработка тестирование

RU

35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Моя RTX 3060 на PCIe Gen2 x4 не мешает генерации Qwen3.6–35B‑A3B со скоростью 109 ток/с. Разбираю, почему это работает…

llama.cpp локальные llm moe gguf инференс llm vram использование pcie qwen3.6 qwen 3.6 27b локальный ии

RU

CMF: новый формат для создания специализированных LLM моделей

CMF новый формат для нейросетей, чем CMF отличается от GGUF и SafeTensors, как несколько способностей можно накладывать на общую структуру без хране…

llm llm-модели llm-архитектура llm память rust cargo moe

RU

[Перевод] Почему MoE-модель тормозит? Чек-лист из трех шагов

Вы запускаете большую MoE‑модель (например, Qwen, DeepSeek, Mixtral) на локальной машине через llama.cpp / llama-server , но скорость генерации токе…

moe mixture of experts artificial intelligence искусственный интеллект траблшутинг

RU

753B на одной видеокарте: разбор FreeToken

Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…

moe локальные модели инференс llama.cpp llm оффлоадинг агенты cuda gpu freetoken

RU

MoE на 5090 недобирает полтора раза, и дело не в маршрутизации

RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-…

llama.cpp moe rtx 5090 пропускная способность памяти cuda gpu инференс ллм бенчмарк профилирование qwen 3.5

RU

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…

llm локальные модели квантизация llama.cpp apple silicon gguf инференс moe meta

RU

Kimi K3 — что реально даёт открытие весов самой большой модели

27 июля Moonshot AI выложила веса Kimi K3 — модели на 2,8 трлн параметров, которая до этого работала только через платный API. В…

kimi k3 kimi moonshot ai открытые данные moe open source llm