RU

Я устал писать одноразовые скрипты для бенчмарков LLM и собрал харнесс, который сам считает Pareto-front

Неважно, где ты гоняешь инференс: в проде на vLLM под нагрузкой или в локалке на llama.cpp, пытаясь втиснуть Llama-3 в 4 ГБ видеопамяти — вопрос всегд…

LLMинференсбенчмаркингvLLMllama.cppметрикивоспроизводимостьэнергоэффективностьпроизводительностьgpu
Habr
RU

ЦОДам в Москве отказывают в сети, они вынуждены строить электростанции

В феврале «Ведомости» фактически подтвердили то, о чём участники рынка говорили уже давно: получить новые мощности для строительства ЦОДов в Москве ст…

цодыцодостроениецоды.рфцод и хранение данныхэнергетикаэнергосбережениеэнергоэффективностьэнергопотреблениеэнергоцентр
Habr
RU

Энергоэффективность ASIC под пристальным взглядом: что J/TH показывает в реальности и где обманывает паспорт

Энергоэффективность — единственная метрика, которая в долгом периоде определяет, заработает ли ваша майнинг-ферма деньги. Хешрейт можно нарастить, цен…

энергоэффективностьundervoltautotuningпрошивкиASICтестовый стендмониторинг
Habr
RU

Мы можем решать задачи компьютерного зрения без видеокарт. И вам советуем

Когда-нибудь спрашивали себя, какие технологии должны быть в башке терминатора из фильмов Джеймса Кэмерона, чтобы он (терминатор) мог обрабатывать дан…

компьютерное зрениеtapeиндексирование данныхиндексирование видеоэнергоэффективностьgpuалгоритмы обработки видеоалгоритмы обработки изображений