RU

Каталог данных: что нужно знать, прежде чем начинать внедрение

Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и испо…

data catalogdata governanceметаданныекачество данныхlineagedata contractsetlslaуправление даннымиvk data platform
Habr
RU

Каталог данных: что нужно знать, прежде чем начинать внедрение

Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и испо…

data catalogdata governanceметаданныекачество данныхlineagedata contractsetlslaуправление даннымиvk data platform
Habr
RU

Автоматизация разработки и деплоя потоков Apache NiFi

Я Игорь Юрченко, backend-разработчик Сбера, в этой статье расскажу о нашем опыте автоматизации деплоя потоков Apache NiFi. Apache NiFi — инструмент дл…

nifinifi deploymentnifi registryetletl-процессыetl-пайплайнetl-фреймворкetl-потокиetl-процессbigdata
Habr
RU

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая а…

postgresqlclickhousekafkadebeziumcdckubernetesetlreal-time аналитикаkafka connectdevops
Habr
RU

FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф

Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N н…

trinosqlfifoмсфоаналитика данныхdata qualityetlфинансыуправленческий учетбонусы
Habr
RU

Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики

Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы пр…

tarantool column storehtapdata fabricoltpolapreal-time analyticstarantooletlmdmvk tech
Habr
RU

Как Data Fabric и HTAP превращают сырые данные в бизнес-события для мгновенной аналитики

Долгое время главным критерием качества данных считалась их чистота и полнота. Компании инвестировали значительные ресурсы в MDM-системы и процессы пр…

tarantool column storehtapdata fabricoltpolapreal-time analyticstarantooletlmdmvk tech
Habr
RU

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благод…

scd type 2trinoicebergairflowlakehouseetlslowly changing dimensionsdata meshвитрина данныххранилище данных
Habr
RU

Почему российский бизнес проигрывает битву за информацию и как это исправить. Часть 2

Представьте себе классическую ситуацию: финансовый директор смотрит на два отчета по выручке за прошлый год. Один отчет, построенный в старой системе,…

качество данныхscdslowly changing dimensionsтемпоральностьмиграция данныхsapимпортозамещениеetlsqlсистемный анализ
Habr
RU

Смотрим low-code коннектор к «1С: Шине» от «Денвик»

На связи Сергей Скирдин, технический директор компании «Белый код». Мы занимаемся проектами в сфере управления данными: интеграции, хранилища, BI. В п…

bibi-аналитикаbi-системаetlдашбордыдашборды в компаниивизуализация данныхesb
Habr
RU

Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репоз…

starrocksLakehousegreenplumsqlмиграция данныхсубдmppdwholapetl
Habr
RU

Можно ли запустить корпоративную BI+ETL-систему за 1,5 млн рублей? Бонус: «Денвик» – экстрактор данных из 1С

Меня зовут Андрей Рыжик, я разработчик BI в компании «Белый код». Это бонусная статья из серии, в которой мы изучаем российские BI-системы с поддержко…

bi-аналитикаbibi-системаetletl-процессыдашбордыдашборды в компаниивизуализация данных