Qwen3.8. MTP и тензорный параллелизм в llama.cpp: 75 ток/сек на двух RTX 3090
Плотная 27-миллиардная модель на двух RTX 3090 в llama.cpp из коробки даёт 32 токена в секунду. Интуитивно понятно, что это не предел: две карты по…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Селф-хост на RTX PRO 6000, продолжение: 2-битный DeepSeek V4 Flash x Ornith1.5-35B, как оно?
В прошлой серии сравнил Qwen3.8-27B на своей карте с DeepSeek V4 Flash по API. Меня спросили: а если DeepSeek поставить на ту же карту, урезав до 2…
[Перевод] RGB‑значения нужно нормализовать делением на 255 или на 256?
Допустим, вы пишете программу для обработки изображений. Программа получает изображение, преобразует его в значения с плавающей запят…
Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах
Как на самом деле квантование ломает вызов инструментов? Собрал бенчмарк QuantMCP, протестировав модели на 4 ГБ VRAM не на синтетике, а на реальных…
Маленькая модель на 0.6B держит квантование лучше, чем «крупная» на 1B: измерил деградацию function-calling на 4 ГБ VRAM
Как квантование ломает function-calling у LLM? Собрал бенчмарк QuantCall, протестировав модели на 4 ГБ VRAM. Главный инсайт: устойчивость к квантам…
Всё, что вы хотели знать про локальные LLM, но боялись заинференсить
LLM может влезать в контекст и генерировать 200 tok/s, но если она не может найти нужный факт в тексте, толку от этого мало. Поэтому мы захостили 8…
4.6-битные сети: от теории к практике. Причём здесь HardTanh?
Уже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два . Вспомним, ч…
[Перевод] Как оптимизировать LLM-инференс в 2026 году
Если вы в 2026 году запускаете LLM в продакшене, то почти наверняка больше всего денег тратите на инференс. Одна неоптимизированная модель размером…
Четыре грабли, один вихрь и 60% на CIFAR-10 с M0+
Продолжение цикла. До этого были базовые цифры и анонс 5 архитектур. Теперь - что сломалось, как чинили, что узнали. Читать далее
Тернарный KAN: не баг, а фича — почему дискретные веса работают лучше
Это продолжение поста “Две нейросети по 15 КБ” - там были базовые цифры. А тут уже личная история: как делалось, что пошло не так, и что выяснилось…
Культ квантования: почему 3 битные LLM это диагноз, а не оптимизация
Переход от FP16 к 8 битному квантованию был триумфом инженерии, позволившим запускать LLM на потребительском железе почти без потерь. Но сегодня инд…
Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?
Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Hug…