Pure JAX on G5g: Serving Gemma 4 on Graviton and a T4G
This article provides a step by step deployment guide for serving Google's Gemma 4 on an AWS EC2 G5g instance using pure JAX. The code is here: gith…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
The Matrix Wasn't A Battery Farm. It Was A GPU Cluster Made Of Human Brains.
Nvidia is worth more than most countries because we cannot figure out how to do cheap inference. There are eight billion units walking around that d…
Компьютер по подписке: как Nvidia превращает вычисления в сервис
Ежегодная выставка Computex в Тайбэе уже более 40 лет собирает производителей и энтузиастов компьютерной индустрии. За годы мероприятие стало компас…
Latest Trends in GPU Cloud Cost Reduction and Containerized Data Centers
📝 Originally published (in Japanese) at forge.workstyle.tech . Introduction In recent years, the demand for GPUs has surged with the widespread adop…
Deploying DeepSeek R1 Reasoning LLM Using SGLang
DeepSeek R1 is a first-generation reasoning model tuned for math, coding, and logical reasoning — reinforcement learning with a cold-start phase for…
The sm_120 shared-memory cliff: why FP8 KV cache crashes vLLM on workstation Blackwell
If you run vLLM with --kv-cache-dtype fp8 on a DeepSeek-family (MLA) model and your GPU is a GB10, an RTX PRO 6000, or any workstation or consumer B…
Распределённые вычисления: гарантия завершения на исполнителях, которые вам ничего не должны
Если вы ведете pet‑проекты, требующие большого количества вычислений, то наверняка сталкивались с проблемой их - вычислений - оркестрации. Содержать…
[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 5. Инференс
Предыдущая глава Ну а теперь рассмотрим, как нам применить обученный трансформер. И применение уже обученной модели сильно отличается от тренировки,…
Stop Comparing GPU Clouds Only by $/hour
GPU Cloud Research · #002 — 11 min read The cheapest GPU instance is not always the cheapest way to finish a workload. GPU cloud comparison pages us…
753B на одной видеокарте: разбор FreeToken
Бывает так: сидишь, листаешь ленту, и в очередной раз натыкаешься на пост, где стафф-инженер из солнечной Калифорнии крутит свежую модельку на паре…
My CUDA/GPU Journey: From "What Even Is a GPU?" to Actually Fascinated
A few months ago, if you'd asked me what a GPU actually does, I would've mumbled something about "graphics" and changed the subject. I'm an undergra…
I Got 28 TPS Out of Free Kaggle GPUs. Here's What It Took.
I want to be upfront about something: this whole project runs on free Kaggle T4 notebooks, an AWS EC2 t3.micro relay that costs almost nothing, and…
Локальный ИИ-агент в своём контуре: Ollama плюс OpenClaw на серверном GPU
Однажды за один вечер мне пришлось разобрать двенадцать ошибок, и почти все прятались в конфигурации и связях между компонентами. Модель отвечала пу…
Локальный ИИ-агент в своём контуре: Ollama плюс OpenClaw на серверном GPU
Однажды за один вечер мне пришлось разобрать двенадцать ошибок, и почти все прятались в конфигурации и связях между компонентами. Модель отвечала пу…
Как мы внедрили AIOps для контроля GPU‑утилизации и повысили её на 60%
Привет, Хабр! На связи Даниил Понизов и Роман Лазовский , руководитель и MLOps-инженер команды ML-платформы в RWB. Мы занимаемся разработкой платфор…
Приватная LLM в облаке: развертываем RAG-систему в Managed Kubernetes
Выход в продакшен с собственными языковыми моделями внутри корпоративного контура часто упирается в высокую стоимость GPU-оборудования и сложные рис…
Choosing the Right GPU for Your Model — A Sizing Method, Not a Guess
Choosing the Right GPU for Your Model — A Sizing Method, Not a Guess OK, you're a senior SRE, you've been hearing incessantly about AI models, but a…
Новинки серверного железа в июле: новые процессоры AMD EPYC 9006 Venice и тотальное жидкостное охлаждение
В июле 2026 вышло сразу несколько продуктов, которые демонстрируют две тенденции. Первая: воздушное охлаждение окончательно перестает справляться, и…
From API to GPU, Week 5: Tensors, the Data Structure Behind Every Model
Phase 2 of 8: Enough ML to understand inference. Week 5 of 32. Phase 1 was about running models. Phase 2 is about understanding what happens inside…
Mastering Low-Precision AI: FP8 and FP4 Support Across Frameworks in Mid-2026
In mid-2026, FP8 and FP4 have become essential tools for making large-scale AI training and inference more efficient . FP8 uses two main formats-E4M…
MoE на 5090 недобирает полтора раза, и дело не в маршрутизации
RTX 5090, одна и та же сборка llama.cpp, один драйвер, батч 1. Плотная Qwen3.5-9B выбирает 72% пропускной способности памяти карты. MoE Qwen3.5-35B-…
Как оптимизировать расходы на инфраструктуру для искусственного интеллекта. Выбираем железо и модели под разные задачи
В отчете The State of AI 2025 агентство McKinsey заявляет, что 88% компаний уже используют ИИ хотя бы в одном бизнес-процессе. Grand View Research о…
Паравиртуализация при отладке графических приложений KasperskyOS в QEMU
Привет! Меня зовут Денис Молодяков, я — тимлид команды графики в KasperskyOS . Мы отвечаем за разработку графического стека полного цикла для микроя…
Rust SIMD Just Came to the GPU — and It Changes How We Think About Parallel Programming
For decades, GPU programming has meant one of two things: writing CUDA kernels in C++ or wrestling with OpenCL. Both require you to think in a funda…
[Перевод] Масштабирование LLM: от одного чипа до ЦОДа. Глава 4. Тренировка трансформера
Наконец-то мы добрались непосредственно до того, как тренировать трансформер, не просто тренировать, а делать это эффективно и масштабируемо. Как мы…
I Reviewed 100 Reddit Threads About GPU Clouds. Price Was Only Part of the Story.
When engineers compare GPU clouds, the conversation usually starts with three familiar numbers: GPU model VRAM Hourly price Those numbers matter. Bu…
Подводные камни ИИ-инфраструктуры: что узнаёт заказчик через полгода после запуска (и как мы предусмотрели это в ПАК)
Привет, Хабр! Меня зовут Алексей, я архитектор в команде Скала^р (входим в Группу Rubytech). Мы разрабатываем программно-аппаратные комплексы (ПАК)…
Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending
В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…
Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending
В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…
KV Cache Quantization: I Stretched Qwen 35B's Context 8 on 12GB VRAM
600 MiB of headroom My RTX 4070 was running Qwen 35B beautifully after the --cpu-moe trick from a previous run. The tokens/sec were where I wanted t…