Как я собрал LLM-печку на 4 GPU, и на что она способна
Всем привет, недавно я собрал и сейчас активно использую ПК для локального запуска хоть сколько-то серьезных LLM, и захотелось поделиться этим опытом …
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
- финансовые новости и аналитика
AI
LLM
ai
ai-агенты
frontpage
llm
postgresql
python
selectel
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
нейросети
программирование
разработка
управление командой
управление проектами
[Перевод] Дезагрегированный инференс LLM в Kubernetes: префилл, декодирование и планирование подов
С ростом сложности рабочих нагрузок инференса больших языковых моделей (LLM) единый монолитный процесс обслуживания упирается в свои пределы. У префил…
Экономия GPU-часов в 2,5 раза, уход ИИ в бэкенд и новые стандарты агентских систем: ML-дайджест
Пока инфо-бизнесмены продают очередные курсы по промпт-инжинирингу, в индустрии пересобирают саму архитектуру ИИ-систем. Главные вызовы сегодня л…
288-ядерный Xeon 6+ и другие серверные CPU
В марте 2026 года на конференции MWC компания Intel показала серверные процессоры Xeon 6+ с кодовым названием Clearwater Forest, которые официально по…
20 лет видеокарт в цифрах: как росли FLOPS и TDP и кто вёл в дуэли NVIDIA vs AMD (+ открытый датасет на 13 500 GPU)
Мы свели в одну базу характеристики 13 566 видеокарт — от GeForce 256 (1999) до Blackwell и MI355X (2025) — и посмотрели, как за 20 лет менялась индус…
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 — Запуск локальных моделей ИИ
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 3 - Запуск локальных моделей ИИ Читать далее
Великий парадокс VRAM: почему мы платим миллионы за память, чтобы делать всё, лишь бы ей не пользоваться
Главный страх любого инженера ошибка CUDA Out of Memory . Мы выстраиваемся в очереди за H200 на 140 ГБ. Но как только мы спускаемся с уровня Pyt…
Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax
Итак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользователей. Закономерно возникает вопрос — а на чем запустить инфере…
Чего ждать от нейронного рендеринга, и так ли плох DLSS 5
Мартовский анонс DLSS 5 стал настоящей лакмусовой бумажкой. Вся «аналитика» так называемых лидеров мнений сводилась к сбору фактов и мнений под заране…
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 2 — тестирование в бенчмарках и играх
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 2 — тестирование в бенчмарках и играх Читать далее
SpaceX собирается выпускать собственные GPU
Нет, не для того, чтобы вытеснить с рынка NVIDIA, хотя в перспективе и такое возможно. Как бы то ни было, компания SpaceX неожиданно раскрыла планы по…
Люди скупают Mac Mini M4, а SpaceX покупает Cursor за $60 млрд: ML-дайджест
Индустрия AI окончательно перешла от «умных чат-ботов» к автономным инженерным системам. Прошедшие недели подсветили три главных вектора: агенты стано…
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 1 — Внешний вид, установка и настройка
Обзор серверного ускорителя NVIDIA Tesla V100 16 Gb в корпусе от RTX 4090: Часть 1 - Внешний вид, установка и настройка Читать далее