Пять граней диагностики Data Lakehouse: концепция единого рабочего места
На проектах миграции данных есть промежуточный этап, когда новая платформа данных уже достаточно большая, чтобы начать создавать проблемы, но ещё не…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
«Донащупывая» Data Lineage
Добрый день, Хабр! В рамках основной деятельности — проектирования витрин данных в корпоративных хранилищах, — неизбежно сталкиваюсь с вопросом прои…
Оркестратор Apache Airflow: что это и как используется в BI и DWH
В статье разбираем, как устроен Apache Airflow 3, для каких задач он используется, какую роль играет в архитектуре DWH и BI, и когда его стоит выбир…
Мониторинг и логирование DWH, часть 2: Prometheus, Grafana, Zabbix, ELK, OpenSearch, Loki — как выбрать рабочий стек
В первой части материала мы разобрали, что необходимо контролировать в корпоративном хранилище данных - от инфраструктуры и ETL/ELT-процессов до Dat…
Lakekeeper и Apache Polaris: сравниваем REST-каталоги для Iceberg
Спор о формате таблиц для lakehouse , похоже, закончился, Iceberg сегодня поддерживают Trino, Spark, ClickHouse, Snowflake и дальше по списку, так ч…
Мониторинг и логирование DWH, часть 1: уровни контроля, метрики и типовые проблемы
Архитектура корпоративной платформы данных содержит множество потенциальных точек отказа: проблема может возникнуть при получении данных из источник…
Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда TECNO
На связи Анна Астахова, директор по развитию ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные дан…
Data Lakehouse по‑русски: как не утонуть в болоте импортозамещения
Привет, Хабр! Собрать Lakehouse на слайде несложно. Берём S3-совместимое хранилище, добавляем Iceberg, Spark, Trino, Kafka, Airflow и каталог д…
Теория и практика DWH: все виды SCD по Кимбаллу
Разбор всех видов SCD (slowly changing dimensions) по Кимбаллу: - от простого к сложному - на примерах - с цитатами Кимбалла В конце обзора - заполн…
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в дете…
Как мы описали 15 000 таблиц за полгода вместо 500 за год — и перестали писать документацию руками
Годы идут, но что‑то остаётся неизменным: писать документацию никто не любит, но тем не менее все почему‑то ругают тех, кто её н…
Оптимизация MPP-кластера: предсказываем потребление памяти SQL-запросов
В аналитике больших данных системы массивных параллельных вычислений часто находятся под постоянной нагрузкой в режиме 24/7. Из десятков и сотен тыс…
Ускоряем федеративные запросы в StarRocks
Когда речь заходит про Lakehouse и федеративный доступ , многие вспоминают про Trino и… часто на этом все. Но федеративные запросы поддерживаются в…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Apache Paimon: steamhouse как логическое продолжение современных КХД
Apache Paimon: стриминговый lakehouse для дата-инженеров Сколько систем вы держите ради того, чтобы аналитики видели события через секунды, а годовы…
Теория и практика DWH: что такое согласованные факты и измерения по Кимбаллу и зачем они нужны
Небольшой обзор идей согласованности в DWH на основе книг Кимбалла. В статье - краткий разбор некоторых принципов моделирования данных простыми слов…
У абонента положительный баланс, а услуга не работает: как DWH помог найти причину
Личный кейс из телекома: как мы сопоставляли биллинг, 1С, адреса, услуги и партнерскую платформу, чтобы найти, где нарушается синхронизаци…
Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда электроники
На связи Анна Астахова, коммерческий директор ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные да…
Что такое DWH (КХД) и как работает корпоративное хранилище данных
Собрали для вас подробный материал про DWH — корпоративное хранилище данных: — что это такое и как работает КХД - простыми словами — когда DWH дейст…
DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0
Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов
Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я…
Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях
В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый реп…