AUTO_CDC: Turning an event log into current state with Spark Declarative Pipelines
The question an event log can't answer cheaply The dataset I use for most of my pipeline demos is a simulated ghost kitchen (a delivery-only restaur…
DevOps
⚑ Report a ProblemLatest DevOps news from Tech News
Oracle → PostgreSQL без даунтайма: как мы перевозили терабайт банковской базы и где всё ломалось
Задача звучала как задача из учебника: перенести кредитный домен банка с Oracle на PostgreSQL. 70+ таблиц, чуть больше терабайта данных, 500–3000 RP…
Debezium vs Managed CDC: How to Actually Decide Between Build and Buy
Most "Debezium vs managed tool" articles get the question wrong. They frame it as a product bake-off, feature grid included, and declare a winner. B…
Почему остатки на маркетплейсах разъезжаются, и почему Kafka вам, скорее всего не нужна?
Если вы продаёте на двух и более маркетплейсах, вы почти наверняка с этим сталкивались: товар продан на Ozon, но на Wildberries он ещё висит в налич…
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…
Stream Postgres WAL to Redis: Real-Time Read Models with pg2redis
Real-time data pipelines are becoming a normal part of application architecture. Product pages need fresh stock counts, order status screens need fa…
Tarantool DataBase и Kafka: событийная архитектура без лишних слоев
Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase . При разработке разрозненных систем крайне важно обеспе…
Tarantool DataBase и Kafka: событийная архитектура без лишних слоев
Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase . При разработке разрозненных систем крайне важно обеспе…