RU

AVM изнутри задачи, сбои и состояние виртуальных машин

В первой части мы разобрали, почему Aeza ушла со сторонней платформы и как AVM устроен в общих чертах. Здесь уровень ниже: путь запроса от вызова до…

AezaAVMвиртуализациявиртуальные машиныlibvirtgRPCраспределённые системыотказоустойчивостьидемпотентностьstate machine
Habr
RU

Базовые модели надежности отказоустойчивого кластера

Ранее в " Надёжность, устойчивость, доступность " провели введение в терминологию надежности. В этой статье рассмотрим типовые модели отказоустойчив…

кластерымодельнадёжностьотказоустойчивостьотказоустойчивый кластер
Habr
RU

Распределённые вычисления: гарантия завершения на исполнителях, которые вам ничего не должны

Если вы ведете pet‑проекты, требующие большого количества вычислений, то наверняка сталкивались с проблемой их - вычислений - оркестрации. Содержать…

распределённые системыотказоустойчивостьMLOpsgpuархитектура повоспроизводимость моделейоркестрацияобучение моделейоблачные вычисленияпроектирование
Habr
RU

Как спроектировать кластер программно-определяемого блочного хранилища, который не подведет через год

SDS-кластер, собранный на глазок и прошедший приёмочные тесты, вполне может проработать полгода без единой жалобы, а потом упереться в стену. Причин…

SDSпрограммно-определяемое хранилищеблочное хранилищеСХДMIND uStorErasure Codingрепликация данныхcapacity planningотказоустойчивостьNVMe
Habr
RU

Надёжность, устойчивость, доступность

Привычные термины становятся все более запутанными. Если раннее (до 2003 года) система ГОСТ еще была фундаментальна и системно выстроена (…

надёжностьгостотказоустойчивостьотказоустойчивый кластердоступностьживучестьfault tolerance
Habr
RU

Мой тестовый харнесс нашёл баг в моей же реализации Raft. Рассказываю, как именно

Набор тестов, который всегда зелёный, содержит непроверяемое допущение: он может ловить ошибки, а может не смотреть вообще — по цвету это неразличим…

raftконсенсусдетерминированное тестированиераспределённые системытестированиелинеаризуемостьотказоустойчивостьtypescript
Habr
RU

Необратимая операция: как печатать чек, если непонятно, напечатался ли он

Фискальный накопитель печатает чек — и связь обрывается до того, как пришёл ответ. Напечатался он или нет, узнать неоткуда: обе ситуации выглядят дл…

архитектураидемпотентностьотказоустойчивостьфискализацияrabbitmqконсистентность
Habr
RU

Переполнение диска в БД: обзор сценариев и механизмов защиты

База данных — бизнес-критический компонент любой ИТ-инфраструктуры, поэтому вопрос обеспечения ее доступности и отказоустойчивости обычно находится…

vk clouddatabasesпереполнение дискаwalрепликациямониторингалертыавтомасштабированиеread-only режимотказоустойчивость
Habr
RU

Как измерить собственный обход блокировок: восемь механизмов, которые не выполнялись ни разу

Мы делаем  RCQ , мессенджер со сквозным шифрованием и открытым кодом ( Android ,  iOS ,  протокол ). В нашем основном регионе приложе…

обход блокировоктелеметриянаблюдаемостьCaddysing-boxRealityCloudflareотказоустойчивостьпостмортемntfy
Habr
RU

Нефункциональные требования: 5 ошибок, которые всплывут в проде

Система прошла приёмку, но первая реальная нагрузка разогнала p99, исчерпала пул соединений и увеличила счёт за облако. Разбираем пять оши…

архитектуранфтнефункциональные-требованияsystem-designотказоустойчивостьнагрузочное-тестированиеfitness-functionsSLOADRresilience4j
Habr
RU

Как корректно описать приём и обработку webhook

Webhook часто воспринимают как простой механизм доставки уведомлений: пришло событие — обработали — вернули 200. На практике име…

системный анализсистемный аналитиктребованияwebhookинтеграцииAPIраспределённые системыидемпотентностьобработка событийотказоустойчивость
Habr
RU

Как сделать приложение быстрым и надёжным с помощью межсервисных запросов

Микросервисы обещают независимость и гибкость, но вместе с этим добавляют новый класс проблем: задержки между сервисами, каскадные сбои и…

микросервисная архитектурамежсервисное взаимодействиераспределённые системыAPI Gatewayагрегатор данныхGraphQLCQRSотказоустойчивостьмасштабирование системпаттерны проектирования
Habr
RU

Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending

В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…

vk cloudkubernetesgpudradevice pluginpod failurependingtaintsresourceclaimотказоустойчивость
Habr
RU

Под с GPU не лечится рестартом: устраиваем отказ устройства в кубере и чиним без вечного Pending

В 2024 году была опубликована интересная статья , в которой описано, как за 54 дня обучения Llama 3 405B кластер Meta из 16 384 карт H100 пережил 41…

vk cloudkubernetesgpudradevice pluginpod failurependingtaintsresourceclaimотказоустойчивость
Habr
RU

Приложение открывается только с VPN. Разбирался почему

Пользователи из регионов начали писать в поддержку одно и то же: приложение не открывается. Симптомы у всех разные. У кого-то вечная загрузка, у ког…

cdnnginxviteselecteltcpсетевая доступностьfrontendотказоустойчивостьspaсервер
Habr
RU

Балансировка кластера NGFW: 5 особенностей, которые важно учитывать при построении высокопроизводительной инфраструктуры

На первый взгляд балансировка кластера NGFW мало отличается от балансировки других средств информационной безопасности или ИТ-сервисов. Однако на пр…

масштабированиеотказоустойчивостьотказоустойчивый кластерhighloadhigh availabilityбалансировка нагрузкивысокая производительностьds proximaбалансировщик нагрузки
Habr
RU

[Перевод] Генератор ID для микросервисной архитектуры: гайд по масштабированию целочисленных идентификаторов

В распределённых системах генерация уникальных ID быстро становится архитектурной задачей: центральная база создаёт узкое место, а переход на UUID м…

микросервисная архитектурамонолитраспределённые системыотказоустойчивостьгенерация идентификаторовмасштабирование системархитектура приложенийDynamoDBMySQL
Habr
RU

Заменили ноду в кластере RabbitMQ — и через месяц потеряли регион OpenStack

Короткая история про то, как штатная замена ноды оставила quorum-очереди с двумя членами вместо трёх, и почему cluster_status этого не показывает. С…

rabbitmqopenstackquorum queueskolla-ansibleотказоустойчивостькластеризацияcinderпостмортемsreинцидент
Habr
RU

Как менялось представление о надежности ИТ-инфраструктуры за последние 25 лет

Надежная ИТ-инфраструктура как здоровье – пока она есть, ее никто не замечает. Но за четверть века подходы к реализации ее надежности сильно поменял…

ит-инфраструктураaiopsотказоустойчивостьантихрупкость в itантихрупкостьhigh availabilityоблачные технологиичерные лебеди
Habr
RU

Бэкап конфигурации WAF за 50 секунд, или Как не терять дни работы между снапшотами

Привет, Хабр! Меня зовут Артем Токарь, я младший инженер технической поддержки в К2 Кибербезопасность . Наша команда работает в составе Це…

wafsolidwallбэкап конфигурацииаварийное восстановлениеотказоустойчивостьснапшотыpostgresqlmongodbzabbix
Habr
RU

Пожар не дошел до серверов, а сервисы все равно упали: как устроена цепочка отказов в ЦОД

Когда сайт перестаёт отвечать, причина не всегда находится внутри VPS или у хостинг-провайдера. За одной виртуальной машиной стоит длинная цепочка:…

дата-центрЦОДотказоустойчивостьVPSхостингIT-инфраструктурарезервированиедомен отказаRTORPO
Habr
RU

Проектирование и внедрение защиты частного облака в геораспределённых ЦОД

В этой статье хочу поделиться практическим опытом проектирования и внедрения защиты частного облака, размещённого на двух географически разнесённых…

частное облакоцодотказоустойчивостьсетевая архитектурамежсетевые экраныngfwсегментация сетивиртуализациясетевая фабрика
Habr
RU

Модель не виновата: разбираем 3 громких ИИ-инцидента, которые случились из-за отсутствия архитектуры

Я проектирую системы на LLM, и после каждого громкого ИИ‑инцидента мне прилетает одна и та же ссылка с одним и тем же вопросом:…

LLMархитектура ПОClaudeИИ-агентыотказоустойчивостьвалидация данныхproductionAnthropicstructured outputshuman-in-the-loop
Habr
RU

Как разобраться в Kubernetes, сетях, CI/CD и безопасности инфраструктуры

Когда инфраструктура начинает сбоить, причина редко остаётся в одном слое: за проблемой с деплоем тянутся пайплайны, контейнеры и секреты, а за дегр…

ит-инфраструктураKubernetesGitLab CIDevSecOpslinuxнаблюдаемостьPostgreSQLсетевая инфраструктураотказоустойчивостьподборка материалов
Habr
RU

VEGMAN R220 G3 и YADRO G4208P G3: что показали стресс-тесты серверов

Привет, Хабр! Меня зовут Михаил Косцов, я руководитель практики вычислительной инфраструктуры, СХД и СРК К2Тех. Для нас серверное железо – рабочий и…

yadrovegmanYADRO G4208P G3VEGMAN R220 G3ит-инфраструктурасерверное железоии-инфраструктуравычислительная мощностьотказоустойчивостьпроизводительность
Habr
RU

Ваши liveness-пробы убивают здоровые поды. Разбор по шагам

Есть паттерн, который я вижу почти в каждом кластере, куда прихожу: liveness-проба, скопированная из туториала, которая годами тихо делает продакшен…

DevOpskubernetesliveness probereadiness probekubelethealth checkотказоустойчивость
Habr
RU

Как тестируют баги, которые невозможно воспроизвести

Редкий сбой в распределённой системе может месяцами ускользать от команды, а при попытке воспроизведения исчезать из‑за изменивш…

детерминированное тестированиераспределённые системывоспроизводимость ошибокотказоустойчивостьасинхронные системыконкурентное выполнениеfault injectionфаззингFoundationDBTigerBeetle
Habr
RU

Инверсия приоритетов в Kubernetes: Когда планировщик убивает бизнес, спасая «важные» поды

Высокий приоритет пода в Kubernetes должен повышать устойчивость сервиса, но при ошибочной настройке ресурсов может запустить противо…

Kubernetesпланировщик Kubernetesинверсия приоритетовPriorityClassвытеснение подовQoSrequests и limitsCluster Autoscalerотказоустойчивостьуправление ресурсами
Habr
RU

[Перевод] Когда ИИ-агент ошибается молча: 6 отказов, которые не видно по ответу

ИИ-агент может написать убедительный ответ и при этом вызвать не тот инструмент, потерять состояние между ходами или принять неверное решение с высо…

ии-агентagentic aiвалидация ИИLLMгаллюцинациииспользование инструментовмногошаговое рассуждениеотказоустойчивость
Habr