RU

Кто ворует ваш GPU: атаки на открытые LLM-эндпоинты (Ollama, llama.cpp) — и при чём тут кража облачных ключей

Коротко тезис: открытый Ollama — это бесплатный GPU для атакующего , и охота за таким compute давно поставлена на поток. Но за май наша сеть ханипотов…

LLMOllamallama.cpphoneypotSSRFIMDSинформационная безопасностьGPUn8n
Habr
RU

Калькулятор VRAM для локальных LLM: Какие модели ИИ запустятся у вас на компьютере?

Когда я начал ковыряться с локальными LLM, главная боль была не в установке моделей, а в понимании, что вообще влезет в моё железо. Документация Huggi…

LLMVRAMllama.cppлокальные моделиквантованиеKV cacheGQAбенчмаркGPU
Habr
RU

От GPU к платформе: как Selectel строит AI-инфраструктуру для бизнеса

Selectel анонсировал новый AI-сервер и публичный каталог LLM на конференции «MLечный путь». Разбираемся, как сбалансированная инфраструктура и партнер…

КонференцииИскусственный интеллектDevOpsОблачные технологииАналитикаGPUСтатьи
Tproger
RU

Мы уткнулись в потолок. Почему видеокарты перестали быстро расти — и что с этим делать

H100 стоит $30 000 и потребляет 700 Вт. RTX 5090 — $2 000 (де-факто больше) и 575 Вт. Прирост производительности между поколениями сжался с 80% до 15–…

GPUNVIDIAзакон МураHBMAI инфраструктурачиплетыархитектура GPULLMH100Blackwell
Habr
RU

Сравнение гибридных языковых моделей класса 9B для промышленного инференса

В материале сравниваются три открытые гибридные модели класса 9B (NVIDIA Nemotron‑Nano‑9B‑v2, Bamba‑9B‑v2, Qwen3.5‑9B) с референсной плотной Llama 3.1…

ПроизводительностьРаботаБотыIBMNVIDIAМаркетингQAАналитикааналитикGPUСтатьи