Селф-хост Ornith-1.5 и Qwen3.8: тестирую 18 квантов на одной карте и похоже не покупаю RTX5090
Встала задача - срочно за вечер решить практический вопрос: какой квант ставить на карту и нужна ли мне RTX5090 домой (спойлер: нет, 9B и Q5/Q6 и я…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
«Бери новое поколение» и другие плохие советы по выбору GPU в 2026 году
Привет, Хабр! На связи Илья Мартысь из Рег.облака. Каждый раз, когда выходит новое поколение ускорителей, в чатах начинается одно и то же: «брать B3…
How to Tune llama.cpp --n-gpu-layers: A Practical VRAM Guide (2026)
You already know what --n-gpu-layers does. It moves transformer layers onto your GPU. This post is the next step: how to actually pick the number. I…
Best Local AI Models for Each VRAM Tier (4 GB to 80 GB) in 2026
This article was originally published on runaihome.com Every "best local AI model" article skips the question that actually matters: best for what V…
Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
Главный страх любого инженера ошибка CUDA Out of Memory . Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня P…
Best GPU for Llama 70B in 2026 (48GB+ VRAM Required)
This article was originally published on Best GPU for LLM . The full version with interactive tools, FAQ, and live pricing is on the original site.…