RU

Мониторинг и логирование DWH, часть 2: Prometheus, Grafana, Zabbix, ELK, OpenSearch, Loki — как выбрать рабочий стек

В первой части материала мы разобрали, что необходимо контролировать в корпоративном хранилище данных - от инфраструктуры и ETL/ELT-процессов до Dat…

dwhмониторинглогированиеgrafanagrafana lokizabbixprometheuselkopensearchdata warehouse
Habr
RU

Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg

Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так ч…

lakekeeperapache polarisapache icebergiceberg rest catalogdwhконтракты данных.хранилище данныхdatalakehousedata meshdata governance
Habr
RU

DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0

Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой…

dwhdata warehouseclickhouseapache icebergtrinolakehousedata engineeringархитектура данныхdata vaultdba
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я…

mpplakehousedatalakehousedwhbigdataranger
Habr