[Перевод] Запускаем LLM локально на Windows: WSL2, Docker, CUDA и vLLM
Большинство инструкций по локальному запуску LLM сводятся к одной-двум командам: вставьте их в терминал, дождитесь загрузки модели и готово. Такой п…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
ROUGE‑V: как я транслировал CUDA/PTX в LLVM IR и запускал его без CUDA runtime
Я написал транслятор CUDA/PTX в LLVM IR: он берёт PTX от настоящего nvcc и собирает его обычным clang . Восемь ядер уже исполнены на …
Локальные нейросети без Python, CUDA и терминала: делаю программу, в которой всё настраивается само
Vulkan на моей GTX 1080 генерирует в полтора раза быстрее CUDA. Qwen вставляет китайские слова в русский текст даже при температуре 0. А маленькая м…
Что значит развернуть LLM локально: два дня с vLLM, DGX Spark и настоящими ограничениями
Когда меня однажды спросили, что такое инференс и как выглядит локальное развёртывание модели, я ответил правильно, но слишком общо. Через несколько…
Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training
Onur Satici explains how Vortex, an open-source columnar file format under the Linux Foundation, revolutionizes high-throughput data loading. He det…
[Перевод] Как найти остров по одной фотографии: геолокация через геометрию и CUDA
Фото островного курорта. Ни EXIF, ни GPS, ни модели камеры – ничего. Нужно назвать курорт, координаты и сторону света, куда смотрела камера. Пытатьс…
NVIDIA RTX PRO 5000 Blackwell с 72 Гб видеопамяти. Есть ли смысл переплачивать за «половинку» флагмана?
RTX PRO 5000 Blackwell на 72 Гб: золотая середина для локальных ИИ-моделей или переоцененный апгрейд? Разбираемся в нашем обзоре. Читать далее
Python: как один из самых медленных языков стал королем нейросетей
Python. IT-курсы разрекламировали его как один из самых легких языков для входа в разработку, любители ИИ создают на нем свои первые нейросети, а не…
Перенёс ByteTrack на GPU и ускорил мульти-камерный трекинг в 6 раз
GPU-версия ByteTrack, где математика всех камер считается общими батчами: один вызов на все потоки вместо трекера-на-камеру. На 16 потоках это ускор…
Запуск и оптимизация локальной LLM с llama.cpp
В статье разберём фреймворк llama.cpp для запуска локальной LLM на выделенном облачном GPU, а также практический подход к оптимизации производительн…
Кремниевый король: Как NVIDIA заложила фундамент нейросетевой революции
Как компания, чьи чипы изначально предназначались для отрисовки полигонов в видеоиграх, стала главным бенефициаром ИИ-революции и пробила потолок ка…
GDDRHammer и GeForge— анатомия атак, превративших видеопамять в оружие
Существует множество программных угроз для систем ИИ. Но я расскажу о GDDRHammer — атаке на аппаратную часть. Разберу эту атаку до винтика, то есть…