Presentation: Exploding GPUs
Andrew Martin discusses why AI security is fundamentally tied to Kubernetes security. He shares insights into the evolving AI threat landscape, cove…
AI & ML
⚑ Сообщить о проблемеПоследние новости AI & ML от Tech News
Все темы
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
claude
database
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache
В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…
RPS одинаковый, но p95 по TTFT хуже в 2,7 раза: что round-robin делает с KV-cache
В замере Red Hat два балансировщика распределяли один и тот же чат-трафик между четырьмя GPU NVIDIA L4. По числу обработанных запросов в секунду рез…
LLM работает не на одной видеокарте: анатомия AI-инфраструктуры 2026
Почему 70B-модель может поместиться в память и всё равно тормозить под нагрузкой? Разбираем AI-инфраструктуру 2026 года по слоям: HBM и KV-кеш, pref…
5 российских облаков для запуска своих ИИ-моделей в 2026 году
Сравниваем immers.cloud, Selectel, Cloud.ru, VK Cloud и Timeweb Cloud: GPU, обучение и инференс моделей, инструменты ML, условия оплаты и ограничени…
Kubernetes Teams Get a Safer Way to See Their Own GPU Metrics
Adobe engineers have described an open-source approach for giving teams self-service access to their own Prometheus metrics in multi-tenant Kubernet…
CMF: решения за миллисекунды без генерации токенов (аналог Jev) с открытыми весами
CMF модель для быстрого принятия решений (аналог Jev) — локальная модель для выбора решений без генерации токенов. Она определяет класс, умеет отказ…
Почему инференс LLM становится дорогим и как снизить расходы на GPU без покупки новых карт
Высокая загрузка GPU ещё не означает, что инфраструктуре не хватает ресурсов. В продакшене значительная часть времени может уход…
Google Adds Cycle-Level Kernel Profiling to XProf
Google has added a Kernel Profiling suite to XProf. This is its open-source profiler for TPU workloads. Now, developers can see cycle-level details…
Запустить LLM локально: что считать до покупки видеокарты?
Мощная видеокарта не всегда означает быстрый локальный запуск LLM. Разбираемся, почему GPU может простаивать, как на производите…
[Перевод] Ваша платформа Kubernetes готова к контейнерам. Готова ли она к ИИ?
Kubernetes дал платформенным командам единообразный способ развёртывать, масштабировать и эксплуатировать контейнеризированные приложения. Теперь мн…
NVIDIA Personal AI Router Distributes AI Tasks Across Local Compute
NVIDIA Personal AI Router (PAIR), now available in beta, lets you combine the inference capacity of multiple computers on your local network and aut…
Presentation: From S3 to GPU in One Copy: Rethinking Data Loading for ML Training
Onur Satici explains how Vortex, an open-source columnar file format under the Linux Foundation, revolutionizes high-throughput data loading. He det…
Presentation: Running AI at the Edge: Running Real Workloads Directly in the Browser
James Hall discusses the strategic and technical imperative of moving AI workloads from cloud providers to local edge devices. He shares practical a…
Nvidia’s AI advantage is moving beyond the GPU
The new generation of data center systems is increasing efficiency with smarter traffic control instead of just more processor cycles.
GPU-серверы для LLM-инференса: 5 решений, на чём запустить локально в 2026 году
Сравнили 5 GPU-платформ для запуска открытых LLM в России: immers.cloud, Cloud4Y, VK Cloud, HOSTKEY и AdminVPS. Разбираем конфигурации, цены и удобс…
Корпоративный мозг на одной видеокарте: что на самом деле умеет локальная модель
Есть компании, где вопрос «какую модель выбрать» отходит на второй план, а первым встаёт другой: выйдут ли данные за периметр . Банк, госкорпорация,…
Meet the startup helping Wall Street put a price on AI compute
The AI buildout shows no signs of slowing. And with hundreds of billions of dollars a year going into data centers and GPUs, com…
Presentation: From Fab To Token - The State Of The Market
Jordan Nanos discusses how semiconductor constraints, data center expansion, and networking bottlenecks impact AI software architecture. Drawing fro…
ИИ‑прогноз погоды на своём железе: запускаем AIFS 2.0 от ECMWF
Открытые веса модели мало помогают, если для её запуска нужен конкретный GPU и непростое окружение. Разберём, как запустить AIFS Single 2.0 от ECMWF…
NVIDIA RTX PRO 5000 Blackwell с 72 Гб видеопамяти. Есть ли смысл переплачивать за «половинку» флагмана?
RTX PRO 5000 Blackwell на 72 Гб: золотая середина для локальных ИИ-моделей или переоцененный апгрейд? Разбираемся в нашем обзоре. Читать далее
Т9 за сотню долларов, ассистент за миллиард: сколько на самом деле стоит обучить LLM с нуля
«Лучший ChatGPT за $100», «китайцы обучили GPT-4 за шесть миллионов», «модель с нуля на одной игровой карте за вечер» — за последний год такие загол…
Перенёс ByteTrack на GPU и ускорил мульти-камерный трекинг в 6 раз
GPU-версия ByteTrack, где математика всех камер считается общими батчами: один вызов на все потоки вместо трекера-на-камеру. На 16 потоках это ускор…
Presentation: Chaos Engineering GPU Clusters
Bryan Oliver discusses the frontier of AI infrastructure: chaos engineering for large-scale GPU clusters. He shares how engineering leaders can hand…
Полез в исходники vLLM, чтобы понять, почему один символ убивает prompt caching
В первой части я вывел одно правило и предложил жить по нему: стабильное в начало, изменчивое в хвост , один символ в системном промпте обнуляет вес…
Cloud.ru запустила Evolution Stack.ML для обучения ИИ-моделей в гибридном облаке
Cloud.ru вывела в коммерческую эксплуатацию платформу Evolution Stack.ML для обучения ИИ-моделей. Для кого решение и какие цифры приводит компания.…
Живой космос на Metal: как я переписывал фон мобильной игры и поднимал FPS с 20 до 120
В мобильной разработке мы привыкли, что красивый анимированный фон — это либо видео, либо пара слоёв с CAGradientLayer и медленным параллаксом. Для…
Обзор GPU-облаков в России для обычного пользователя в 2026
Сейчас я учусь на 2 курсе магистратуры МИФИ по ML ( это моё второе высшее образование, по 1 специальности я психолог и TechHR с опытом 17+ лет), и п…
Кто ворует ваш GPU: атаки на открытые LLM-эндпоинты (Ollama, llama.cpp) — и при чём тут кража облачных ключей
Коротко тезис: открытый Ollama — это бесплатный GPU для атакующего , и охота за таким compute давно поставлена на поток. Но за май наша сеть ханипот…
Presentation: Realtime and Batch Processing of GPU Workloads
Joseph Stein discusses engineering an enterprise AI-as-a-Service platform within a private cloud data center. He explains how to maximize underutili…