Как запустить Qwen3.8-27B локально на RTX3090 (Win10)
В этой статье описывается подробная последовательность для Windows 10 и RTX3090 по установке всего необходимого программного обеспечения ( Python ,…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
753B на одной видеокарте: разбор FreeToken
Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…
[Перевод] Скидка в 97%: как устроен китайский мошеннический рынок ИИ-токенов
Моя история Я долгое время размышлял о мошенничестве с токенами — проблеме, с которой впервые столкнулся, когда работал разработчиком ПО в ИИ-шлюзе.…
Как запустить LLM на 2,8 трлн параметров на ноутбуке
Локальный запуск больших LLM быстро упирается в память: веса не помещаются, оффлоад режет скорость, а красивые бенчмарки мало го…
ИИ‑прогноз погоды на своём железе: запускаем AIFS 2.0 от ECMWF
Открытые веса модели мало помогают, если для её запуска нужен конкретный GPU и непростое окружение. Разберём, как запустить AIFS Single 2.0 от ECMWF…
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить
Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…
NVIDIA RTX PRO 5000 Blackwell с 72 Гб видеопамяти. Есть ли смысл переплачивать за «половинку» флагмана?
RTX PRO 5000 Blackwell на 72 Гб: золотая середина для локальных ИИ-моделей или переоцененный апгрейд? Разбираемся в нашем обзоре. Читать далее
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)
Привет, Хабр! Меня зовут Алексей, я архитектор в команде Скала^р (входим в Группу Rubytech). Мы разрабатываем программно-аппаратные комплексы (ПАК)…
Анализ сервисов на замену OpenRouter в РФ
Заголовок конечно очень похож на классический ИИ SEO слоп, но не спешите закрывать. Анализ вцелом я делал для себя и не претендую на истину в послед…
Mac mini feat OpenClaw: проверяем локальный инференс LLM
Локальный инференс LLM требует не только мощного GPU, но и огромной ширины шины памяти. Объединенная память Apple Silicon частично решает проблему н…
Не всё надо решать LLM. Где в продакшене побеждают бустинги, эмбеддинги и правила
Нам очень хотелось поговорить о том, в каких местах важно оставаться приверженцами классического ML, а где хотелось бы идти в сторону инноваций, вне…
False positive под небом цвета телевизора, настроенного на мертвый канал
В «Ростелекоме», как в любом крупном корпоративном контуре, SAST-поток исчисляется тысячами срабатываний. Ручной триаж перестает быть инженерной раб…
Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front
Неважно, где ты гоняешь инференс: в проде на vLLM под нагрузкой или в локалке на llama.cpp, пытаясь втиснуть Llama-3 в 4 ГБ видеопамяти — вопрос все…
4.6-битные сети: от теории к практике. Причём здесь HardTanh?
Уже прошло два года с тех пор, как мы предложили схему 4.6-битного квантования и рассказали про нее, в том числе и на Хабре: раз и два . Вспомним, ч…
В 14 раз быстрее: как мы ускорили генерацию эмбеддингов в Manticore через ONNX
Когда мы выпустили Auto Embeddings — функцию автоматического преобразования текстов в векторные представления — без развёртывания отдель…
Tensordyne Napier — еще одно решение на замену традиционных GPU в инференсе
Почти каждый месяц очередной стартап, производящий серверное железо, объявляет о своих ноу-хау. Естественно, ориентированных на задачи инференса и о…
Vibecode по дешевке — домашний сервер с Qwen Code за 25к, который не отключит Anthropic
Я начинающий инженер: учусь, работаю, пишу код. Подсел на Claude — и быстро уткнулся в лимиты: полчаса работы, и могучие руки превращаются в лапки.…
Anthropic выпустила Fable 5 — и я задумался, не движемся ли мы не в ту сторону
«9 июня Anthropic выпустила Claude Fable 5 — первую публично доступную модель класса Mythos, той самой, которую в апреле сочли слишком мощной для пу…
Два игрока на весь российский рынок ИИ: что показал ЦИПР-2026
Почему в каждом разговоре про промышленный ИИ в России за спиной заказчика оказывается одна из двух компаний - Сбер или Яндекс? Я съездил на ЦИПР-20…
Inspector v3: как я сделал свой центр управления Kubernetes на старом ноутбуке
Привет, Хабр! Меня зовут Артём, в YADRO я работаю инженером инфраструктуры: виртуализация, мониторинг, контейнеризация — это мое ежедневное. Также з…
Архитектура AI-сервисов: почему монолит убивает latency и GPU
Ваш AI‑чат или автокомплит тормозит при 50 запросах в секунду? Монолит убивает GPU и латенси? В этом туториале — реальная а…
Тестируем NVIDIA HGX B300 — инференс-сервер с 8 GPU и 2,3 ТБ VRAM на DeepSeek, Qwen и MiniMax
Итак, вы внедрили ИИ в свой сервис и решили ехать в продакшен, где у вас много пользователей. Закономерно возникает вопрос — а на чем запустить инфе…
Новая архитектура для агентов: как Intel и SambaNova разделили инференс между GPU, RDU и CPU
В апреле 2026-го Intel и ИИ-платформа SambaNova опубликовали совместный blueprint гетерогенного инференса: prefill — на GPU, decode — на SambaNova S…
DGX Spark на 256K контексте: тестирую конфигурации vLLM, реальные замеры и почему NVFP4 в mainline сломан
NVIDIA продаёт спарку с лозунгом «один петафлоп на FP4». Я купил коробку, поставил vLLM, запустил инференс и получил 40 токенов в&nbs…