Нафиг NVIDIA! Часть 2. Запустил 8 нейросетей на FPGA за $50 — и упёрся в DDR3
Можно ли запустить настоящие языковые модели на списанной FPGA за $50 - без NVIDIA? В первой части я запустил Qwen, а теперь разобрал openTPU до RTL…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Железный сентябрь: от накопителей Unigen на 122 ТБ до архитектуры Arm Ranger и дорожной карты Huawei Ascend
Всем привет, с вами Сергей Ковалёв, менеджер выделенных серверов в Selectel . Сентябрь снова радует нас анонсами железа. Huawei и Alibaba с разницей…
Собираем домашний сервер для локальных LLM на доступных GPU (NVIDIA CMP 50HX)
Привет! Меня зовут Александр Щербаков, я DevOps-инженер в X5 Tech. В одной из прошлых статей я рассказывал о домашних серверах на потребительском же…
70 токенов в секунду в qwen3.8-27b на RTX 3090
На текущий момент qwen3.8-27b без сомнений лучшая модель для программирования, которую можно запускать на потребительских видеокартах. К сожалению п…
Ловушка дешевого GPU: почему цена за час ничего не говорит о реальных затратах на ИИ-проект
Почасовой тариф на GPU давно стал главным аргументом при выборе облачной площадки. Открываешь таблицу, находишь минимальную ставку, запрашиваешь ком…
«Давайте просто развернём свою LLM на 1Т параметров»: что пришлось построить вокруг неё в Битрикс24
В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает.…
Нафиг NVIDIA! Я запустил Qwen на FPGA за $50 — а свой TPU назвал бы «КЕДР». Часть 1
Я хотел разработать собственный AI-процессор , нашёл openTPU , купил FPGA за $50 с 4ГБ памяти, подключил её к обычному мини-ПК и запустил на ней язы…
Что делать, если доступ к Claude пропал, а на нем уже завязан рабочий процесс?
Привет, Хабр! На связи команда Рег.облака. С начала октября у российских пользователей Claude снова начали блокироваться аккаунты. Для тех, кто поль…
Память, которая сама обрабатывает данные: как устроена LPDDR5X-PIM
В ряде задач производительность упирается не в скорость вычислений, а в обмен данными с памятью. Решить эту проблему м…
LLM работает не на одной видеокарте: анатомия AI-инфраструктуры 2026
Почему 70B-модель может поместиться в память и всё равно тормозить под нагрузкой? Разбираем AI-инфраструктуру 2026 года по слоям: HBM и KV-кеш, pref…
Купил мини‑ПК с приставкой «AI» ради локальной LLM. Что может NPU на самом деле
TL;DR. Я купил мини‑ПК с Ryzen AI 9 365, чтобы гонять большую локальную модель на NPU. Начал с Windows ради гибрида NPU+iGPU, к…
Битва поколений: сравниваем Qwen3.5 и Qwen3.6 в локальном инференсе. Новое не всегда лучше
Мы до сих пор сидим на «старой» модели, и коллеги спрашивают: почему? Чтобы ответить честно, пришлось прогнать семь квантов через шесть групп тестов…
CMF: решения за миллисекунды без генерации токенов (аналог Jev) с открытыми весами
CMF модель для быстрого принятия решений (аналог Jev) — локальная модель для выбора решений без генерации токенов. Она определяет класс, умеет отказ…
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Высокая загрузка GPU ещё не означает, что инфраструктуре не хватает ресурсов. В продакшене значительная часть времени может уход…
Российский нейрочип от НТЦ «Модуль»
Разбираю единственный серийный российский нейрочип — НТЦ «Модуль», 27 лет в серии. Что он умеет по даташиту и в реальных внедрениях — от больниц и Р…
Векторный поиск: деплой без GPU на Triton Inference Server
Перед каждым ML-разработчиком, после обучения прекрасной модели, которая поднимет бизнесу метрики, а тебе годовую премию, возникает вопрос: а как ее…
Open‑weight LLM догнали закрытые? Проверка на продакшене
Открытые LLM уже близки к закрытым моделям по многим бенчмаркам, но в продакшене разрыв проявляется в качестве, стоимости и…
Давай по новой, Миша: speculative decoding от черновика до проверки
Маленькая модель быстро набрасывает несколько следующих токенов, а большая проверяет всю пачку за один проход. Совпавшее оставляет, на первом расхож…
[Перевод] «Друзья не дают друзьям пользоваться Ollama»
Ниже — перевод статьи «Friends Don’t Let Friends Use Ollama» , опубликованной на Sleeping Robots в апреле 2026 года. Поскольку з…
[Перевод] Как устроены LLM: разбираем на примере 3-уровневой абстракции
Чтобы оптимизировать производительность больших языковых моделей (LLM), необходимо понимать весь программный стек. Мне не удалось найти подробн…
[Перевод] Ваша платформа Kubernetes готова к контейнерам. Готова ли она к ИИ?
Kubernetes дал платформенным командам единообразный способ развёртывать, масштабировать и эксплуатировать контейнеризированные приложения. Теперь мн…
Железо для ИИ: почему стандартный сервер не справится и как мы проектировали аппаратный стек ПАК
Привет, Хабр! Продолжаем цикл про инфраструктуру для ИИ-задач. В первой статье мы разбирали стратегический вопрос: что проще и выгоднее — собирать с…
Спекулятивное декодирование: от чего на самом деле зависит ускорение
Спекулятивное декодирование обещает ускорение до 6.5 раза: маленькая черновая модель набрасывает несколько токенов вперёд, большая проверяет их за о…
LLM зацикливается: как найти причину, не трогая параметры?
LLM в продакшене может выглядеть стабильной неделями, а затем начать зацикливаться на одном абзаце, упираться в лимит токенов и…
Как запустить Qwen3.8-27B локально на RTX3090 (Win10)
В этой статье описывается подробная последовательность для Windows 10 и RTX3090 по установке всего необходимого программного обеспечения ( Python ,…
753B на одной видеокарте: разбор FreeToken
Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…
[Перевод] Скидка в 97%: как устроен китайский мошеннический рынок ИИ-токенов
Моя история Я долгое время размышлял о мошенничестве с токенами — проблеме, с которой впервые столкнулся, когда работал разработчиком ПО в ИИ-шлюзе.…
Как запустить LLM на 2,8 трлн параметров на ноутбуке
Локальный запуск больших LLM быстро упирается в память: веса не помещаются, оффлоад режет скорость, а красивые бенчмарки мало го…
ИИ‑прогноз погоды на своём железе: запускаем AIFS 2.0 от ECMWF
Открытые веса модели мало помогают, если для её запуска нужен конкретный GPU и непростое окружение. Разберём, как запустить AIFS Single 2.0 от ECMWF…
Всё, что вы хотели знать о локальном ИИ, но стеснялись спросить
Если вы когда-нибудь смотрели на HF и не понимали, что такое DFlash, квантизация и почему одна и та же модель лежит в десяти репозиториях от десяти…