RU

Большая история крохотного BPMN

Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместит…

bpmncamundacamunda 8zeebekafkaбизнес-процессыоркестрацияevent-driven architectureмикросервисымасштабирование
Habr
RU

2–3 тысячи сборок в день: как мы превратили Kafka из компонента в инфраструктурную платформу

Apache Kafka можно бесплатно скачать, развернуть и подключить к приложениям. При небольшом проекте этого может быть достаточно: создали несколько то…

kafkadigital q.messagebrokerброкер сообщенийit-инфраструктуравысоконагруженные системы
Habr
RU

Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store

Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…

рекомендательные системыmlopskafkaclickhousefeature storefastapicatboosttravel techmongodb
Habr
RU

Пять дней ожидания: опыт длинных временных окон Kafka stream

Иногда бизнес-логика выглядит просто: «соберём все данные за период и посчитаем итоговый результат». На практике этот период может оказаться не часо…

kafka streamsметки времениkafkaвременные окнаstream processingapache kafka
Habr
RU

"__TypeId__": как один Kafka-заголовок незаметно связывает микросервисы именами Java-классов

Если два сервиса обмениваются JSON, но один из них не может десериализовать сообщение без знания полного имени Java-класса другого сервиса - значит,…

Javaspring frameworkkafkaмикросервисы__TypeId__TYPE_MAPPINGSJsonSerializerJsonDeserializer
Habr
RU

Избавляемся от потерянных событий в микросервисах — как я написал свой Spring Starter для Outbox/Inbox

Всем привет! Меня зовут Григорий, и недавно при разработке своего микросервисного приложения я нашёл уязвимость — сообщения, пересылаемые…

javaspringspring-starteroutbox-паттернinbox-паттернdlqkafkarabbitmq
Habr
RU

Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues

Представим обычную обработку заказа. Сервис заказов публикует событие order.created . Сервис склада получает его и резервирует товар в PostgreSQL. П…

rabbitmqgolanggokafkaархитектураасинхронностьмикросервисыbrokerqueueresilience
Habr
RU

Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC

Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при…

mysqlpostgresqldevopsdebeziumkafka
Habr
RU

redb 3.3.0: решение уровня энтерпрайз на .NET — своя БД, свой Apache Camel и рантайм с дашбордом (и всё это бесплатно)

Когда говорят «энтерпрайз-стек на .NET», обычно имеют в виду зоопарк: база от одного вендора, шина от другого, ORM с миграциями, отдельный оркестрат…

c#sqlitedotnetkafkarabbitmqredbsqstelegram
Habr
RU

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не пр…

computer visionmultimodalyoloresnetvlmcnntriton-inference-serverhuman-in-the-loopkafkaритейл
Habr
RU

[Перевод] Как Reddit без потерь перенес петабайтную Kafka с EC2 на Kubernetes

Миграция — риск даже для небольших инфраструктур. А когда у вас больше миллиарда пользователей и петабайт данных, права на ошибку нет вообще. Но вых…

kafkaмиграцияstrimziredditkraftkubernetesec2zookeeperрепликация
Habr
RU

Почему остатки на маркетплейсах разъезжаются, и почему Kafka вам, скорее всего не нужна?

Если вы продаёте на двух и более маркетплейсах, вы почти наверняка с этим сталкивались: товар продан на Ozon, но на Wildberries он ещё висит в налич…

маркетплейсыwildberriesozon1cevent-drivencdckafkagopostgresqlсинхронизация остатков
Habr
RU

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что в…

kafkakafka consumerkafka в тестированииqa automationsaslасинхронное тестированиеai-агентыallureconsumer groupраспределенные системы
Habr
RU

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…

postgresqlclickhousekafkadebeziumcdckubernetesetlreal-time аналитикаkafka connectdevops
Habr
RU

Реалтайм-аналитика «без боли»: миграция из PostgreSQL и Kafka в ClickHouse и визуализация в Superset

Когда у вас появляется продукт с активными процессами и большим количеством пользователей, объём данных начинает расти быстрее, чем ожидалось. На ст…

clickhousekafkapostgresqlsupersetpeerdbkafkaconnectmagnit techмагнитвизуализация данных
Habr
RU

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не пр…

computer visionmultimodalyoloresnetvlmcnntriton-inference-serverhuman-in-the-loopkafkaритейл
Habr
RU

Что спросить у вендора ESB, если вы подбираете интеграционную шину

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние два года я изучаю российский рынок ESB и интеграционных платформ…

шины данныхопросный листинтеграцииконнектормониторингпроизводительностьESBинтеграционные платформыkafkaopen source
Habr
RU

Tarantool DataBase и Kafka: событийная архитектура без лишних слоев

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase .  При разработке разрозненных систем крайне важно обеспе…

Tarantoolархитектураотказоустойчивостьcdckafkaevent-drivenreal-timeинтеграциярепликация данныхvk tech
Habr
RU

Tarantool DataBase и Kafka: событийная архитектура без лишних слоев

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase .  При разработке разрозненных систем крайне важно обеспе…

Tarantoolархитектураотказоустойчивостьcdckafkaevent-drivenreal-timeинтеграциярепликация данныхvk tech
Habr
RU

Kafka в проде: как встроенное сжатие спасло кластер, когда retention не успевал чистить диск

Привет, Хабр! Меня зовут Павел, я ведущий разработчик. В этой статье расскажу про Kafka, consumer groups, lag, offset commit и встроенное сжатие соо…

kafkacsharp.net.net coreconsumer groupretentioncompressionbackenddistributed systems
Habr