RU

Контракты данных между командами: гайд по data contracts в дата‑пайплайнах

Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённосте…

контракты данныхdata contractsдата-пайплайныDWHData LakeData EngineeringdbtKafkaSchema Registryкачество данных
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech