Tech News — Latest News

Все темы - Искусственный интеллект, машинное обучение, нейросети - Новости сети - автомобили, мотоциклы, транспортные средства - вирусы, трояны, уязвимости в ПО, вопросы безопасности - игры - мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК - процессоры AI-агенты LLM Python ai ai-агенты claude devops llm open source python ruvds_статьи Новости Статьи автоматизация ии ии-агенты информационная безопасность искусственный интеллект машинное обучение нейросети программирование разработка тестирование

RU

35B‑модель на RTX 5080 и RTX 3060: 109 ток/с через PCIe Gen2 x4

Моя RTX 3060 на PCIe Gen2 x4 не мешает генерации Qwen3.6–35B‑A3B со скоростью 109 ток/с. Разбираю, почему это работает…

llama.cpp локальные llm moe gguf инференс llm vram использование pcie qwen3.6 qwen 3.6 27b локальный ии

RU

Сайзинг RAM и vCPU для локальной языковой модели: считаем стартовый размер VM

Сайзинг RAM и vCPU для локальной языковой модели начинается с конкретных весов и профиля запросов. Исходные требования self-hosted LLM включают длин…

локальные llm self-hosted llama.cpp gguf ram vcpu kv-cache квантование inference numa

RU

Букмарклет вычисляющий скорость gguf модели в llama.cpp на hf

С приходом нейросетей теперь можно решать задачи гораздо проще, правда и задачи бы такой не стояло не будь нейросетей и llama.cpp, и huggingface. В…

llama.cpp llm-модели gguf

RU

Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090

Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…

llm ai llama.cpp qwen qwen3.8 gguf квантование локальные нейросети локальные модели

RU

Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить

Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…

llm локальные модели квантизация llama.cpp apple silicon gguf инференс moe meta

RU

Как я обучил русский RAG‑сплиттер, который режет документы по индексам, а не по тексту

TL;DR.  Из интереса обучил собственный русский RAG‑сплиттер — захотелось проверить, можно ли сделать context‑aware‑нарезку русск…

rag чанкинг дистилляция lora unsloth токенизация llama.cpp gguf vulkan amd