«Донащупывая» Data Lineage
Добрый день, Хабр! В рамках основной деятельности — проектирования витрин данных в корпоративных хранилищах, — неизбежно сталкиваюсь с вопросом прои…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Оркестратор Apache Airflow: что это и как используется в BI и DWH
В статье разбираем, как устроен Apache Airflow 3, для каких задач он используется, какую роль играет в архитектуре DWH и BI, и когда его стоит выбир…
Мониторинг и логирование DWH, часть 2: Prometheus, Grafana, Zabbix, ELK, OpenSearch, Loki — как выбрать рабочий стек
В первой части материала мы разобрали, что необходимо контролировать в корпоративном хранилище данных - от инфраструктуры и ETL/ELT-процессов до Dat…
Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg
Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так ч…
Мониторинг и логирование DWH, часть 1: уровни контроля, метрики и типовые проблемы
Архитектура корпоративной платформы данных содержит множество потенциальных точек отказа: проблема может возникнуть при получении данных из источник…
Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда TECNO
На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные дан…
Data Lakehouse по‑русски: как не утонуть в болоте импортозамещения
Привет, Хабр! Собрать Lakehouse на слайде несложно. Берём S3-совместимое хранилище, добавляем Iceberg, Spark, Trino, Kafka, Airflow и каталог д…
Теория и практика DWH: все виды SCD по Кимбаллу
Разбор всех видов SCD (slowly changing dimensions) по Кимбаллу: - от простого к сложному - на примерах - с цитатами Кимбалла В конце обзора - заполн…
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в дете…
Как мы описали 15 000 таблиц за полгода вместо 500 за год — и перестали писать документацию руками
Годы идут, но что‑то остаётся неизменным: писать документацию никто не любит, но тем не менее все почему‑то ругают тех, кто её н…
Оптимизация MPP-кластера: предсказываем потребление памяти SQL-запросов
В аналитике больших данных системы массивных параллельных вычислений часто находятся под постоянной нагрузкой в режиме 24/7. Из десятков и сотен тыс…
Ускоряем федеративные запросы в StarRocks
Когда речь заходит про Lakehouse и федеративный доступ , многие вспоминают про Trino и… часто на этом все. Но федеративные запросы поддерживаются в…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Apache Paimon: steamhouse как логическое продолжение современных КХД
Apache Paimon: стриминговый lakehouse для дата-инженеров Сколько систем вы держите ради того, чтобы аналитики видели события через секунды, а годовы…
Теория и практика DWH: что такое согласованные факты и измерения по Кимбаллу и зачем они нужны
Небольшой обзор идей согласованности в DWH на основе книг Кимбалла. В статье - краткий разбор некоторых принципов моделирования данных простыми слов…
У абонента положительный баланс, а услуга не работает: как DWH помог найти причину
Личный кейс из телекома: как мы сопоставляли биллинг, 1С, адреса, услуги и партнерскую платформу, чтобы найти, где нарушается синхронизаци…
Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда электроники
На связи Анна Астахова, коммерческий директор ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные да…
Что такое DWH (КХД) и как работает корпоративное хранилище данных
Собрали для вас подробный материал про DWH — корпоративное хранилище данных: — что это такое и как работает КХД - простыми словами — когда DWH дейст…
DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0
Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов
Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я…
Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях
В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый реп…