RU

Бюджет 999: как в Авито считают надёжность и почему не копируют модель Google

Привет, Хабр! Меня зовут Иван Тарасов , я TUL Architecture Governance в техплатформе Авито . Одна из моих команд — SLA — создаёт условия для повышен…

sloslislareliabilityaccessibilitysresre-процессыбюджет ошибокerror budgetstability
Habr
RU

DRP, который никто не проверял: почему план восстановления может не сработать в самый нужный момент

Привет, Хабр! Меня зовут Илья. Долгое время я работал в финтехах и у облачного провайдера. Занимался сопровождением информационных систем, причём не…

DRPяндексаварияцодбпланадёжность хранения данныхстабильностьsreitilбизнес-процессы
Habr
RU

Математика катастрофы: от дифференциальных уравнений до очередей G/G/1 и формулы Кингмана

Знакомая картина: в 3 часа ночи падает база данных, Alertmanager засыпает каналами, через 5 минут сеть восстанавливается, но… система остаётся…

матестабильный отказметастабильностьраспределенные системыsregoodputинженерияматематическое моделированиеформулытрафик
Habr
RU

Дежурный бот вырос еще раз: отдел логистики, алерты, постмортемы

Дежурный бот в MAX перестал быть «рассыльщиком в три канала». Мы добавили отдельный канал для логистики с P85 вместо SLA, статус-карточки /status, p…

ботmaxsreitsmинцидентымониторингpostmortemalertaавтоматизацияfastapi
Habr
RU

От бизнес-метрики до дежурного: как построить алертинг, от которого не страдают

Эта статья - о шаге, который предшествует настройке маршрутов: как выбрать сигнал, связать его с влиянием на бизнес, определить срочность и проверит…

alertingmonitoringobservabilitysresloprometheusalertmanageron-callбизнес-метрикиnxs-anomaly
Habr
RU

«Канарейка» для данных: как мы добавили безопасную доставку снапшотов поверх оркестратора снапшотов

Привет, Хабр! Меня зовут Артём Букин, я разрабатываю инфраструктурные проекты в VK, и сегодня продолжу рассказывать как мы повышаем надежность ядра…

разработкаsrecanaryинфраструктураснапшоты
Habr
RU

[Перевод] Когда избыточность не спасает: как один сервер сделал объектное хранилище недоступным

Сервер хранения может работать месяцами без единого предупреждения, а затем одно неожиданное отключение превращается в многочасовую недоступность се…

отказоустойчивостьпостмортеммониторингинфраструктураинцидентыDevOpssreKubernetesвысокая доступность
Habr
RU

Эволюция пайплайна метрик: как менялась архитектура с ростом нагрузки

Привет, Хабр! Я Руслан Боярский, SRE в Т-Банке, отвечаю за надежность платформы Sage и принимаю активное участие в ее развитии. Sage — это платформа…

metricsobservabilitysrearchitecturesystem designprometheusvictoriametricssageopenmetricsremotewrite
Habr
RU

Distributed tracing: как разобраться, что происходит с запросом внутри микросервисной системы

В распределённых системах недостаточно знать, что сервис работает медленно или начал возвращать ошибки. Нам часто нужно понять гораздо более конкрет…

telemetrygrafana tempojaegersredevopstrace
Habr
RU

Agent-Ops 0.4.0: ИИ предлагает, человек решает, программа исполняет

Привет! Я Сергей Житинский, основатель Git in Sky. Мы занимаемся эксплуатацией и технической поддержкой ИТ-инфраструктуры. Agent-Ops — проект открыт…

ai-агентыAgent-OpsDevOpsавтоматизацияИТ-инфраструктураинформационная безопасностьсистемное администрированиеуправление изменениямиsreии-агенты
Habr
RU

Готовы ли вы к платформенной инженерии: чек-лист из 10 задач

Подготовили чек-лист по готовности к платформенной инженерии. Внутри - Не тест на знание команд – команды гуглятся. Список из десяти задач, каждую и…

platform engineeringplatformplatform as a servicedevopsdevops-инженерdevops трансформациясистемное администрированиеsre
Habr
RU

Как построить наблюдаемость, когда нет ни CMDB, ни oncall

Привет! Это Скутин Антон. Я работаю в «Петрович-Тех» руководителем отдела обеспечения доступности ИТ-сервисов. Моя предыдущая статья была про ITIL .…

sredevopsobservabilityмониторингинцидент-менеджментнаблюдаемостьitsmzabbixprometheusИнциденты
Habr
RU

Каскад из одной аварии: как схлопнуть шторм алертов в одну карточку инцидента

Падает один шлюз - и дежурному прилетает пачка уведомлений: молчат хосты за ним, гаснет uptime-монитор, срабатывают метрические пороги, горит SLO. С…

мониторингалертингинцидентыobservabilityэскалацияself-hostedgolangpostgresqlsre
Habr
RU

Redis — история одного падения

Пару лет назад мы устроили настоящее расследование серии инцидентов в поисках скрытого дефекта нашего Redis-клиента. Команда воспроизводила сбои под…

javaredisjedissredowntime
Habr
RU

Как я перестал гадать, какая пара нод сломалась после апдейта CNI, и написал для этого свой мониторинг

98% успешных проверок в дашборде выглядят прекрасно. Ровно до момента, когда доходит: недостающие 2% это одна пара нод, один протокол, и т…

kubernetesmonitoringsredevopsgoobservabilityopensource
Habr
RU

ИИ в эксплуатации (AIOps): разбор алертов и автоматизация инцидентов

В марте 2025 года Gartner сделал то, чего индустрия ждала несколько лет: официально переименовал категорию AIOps в Event Intelligence Solutions. При…

aiopsEvent Intelligenceразбор алертовавтоматизация инцидентовалерт-фатигадедупликация алертовобнаружение аномалийprometheusalertmanagersre
Habr
RU

На вкус и цвет все фломастеры разные — способы управления средами на личном опыте

Знаешь , я прочитал ту статью про инфраструктурные релизы, идентичность и консистентность. Красиво написано, складно. Прямо как в душноватом учебник…

инфраструктурасреды разработкиdevopssre
Habr
RU

Как мониторить Java-приложения: метрики, алерты и правило 80/20

Хороший мониторинг помогает быстро понять, что происходит с приложением и куда смотреть в первую очередь. Для этого не нужно пытаться измерить всё:…

мониторингметрикиалертингjavadevopssresite reliability engineeringнадежностьинцидент-менеджмент
Habr
RU

Мы чинили инциденты всё быстрее — а недовольство клиентов росло. Почему MTBF важнее MTTR

Инцидентов стало в два раза больше. Время восстановления сократилось вдвое. Uptime сервисов держался в норме. По всем ключевым метрикам мы становили…

mtbfmttrsreнадежностьметрикиинцидентыуправление разработкой
Хабр — Управление
RU

Заменили ноду в кластере RabbitMQ — и через месяц потеряли регион OpenStack

Короткая история про то, как штатная замена ноды оставила quorum-очереди с двумя членами вместо трёх, и почему cluster_status этого не показывает. С…

rabbitmqopenstackquorum queueskolla-ansibleотказоустойчивостькластеризацияcinderпостмортемsreинцидент
Habr
RU

Сократили цикл разработки на 20% — и получили вдвое больше инцидентов

В продуктовой B2B-компании, где я отвечал за надёжность, поставили амбициозную цель: сократить цикл разработки (dev cycle time) на 20%. Забегая впер…

контрметрикиsreметрикинадёжностьуправление разработкойинцидентыdev cycle time
Habr
RU

FinOps на практике. Серия 2: от пилота к регламентам, или как удержать экономию на облаке

Это вторая статья цикла. В первой части мы разбирали, как начать FinOps с точки ноль: посадить финансы и инженеров за один стол, договориться об общ…

finopscloud costcloud billingcost allocationshowbackresource taggingcloud infrastructuredevopssrekubernetes
Habr