Data Lakehouse по‑русски: как не утонуть в болоте импортозамещения
Привет, Хабр! Собрать Lakehouse на слайде несложно. Берём S3-совместимое хранилище, добавляем Iceberg, Spark, Trino, Kafka, Airflow и каталог д…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
тестирование
управление проектами
Теория и практика DWH: все виды SCD по Кимбаллу
Разбор всех видов SCD (slowly changing dimensions) по Кимбаллу: - от простого к сложному - на примерах - с цитатами Кимбалла В конце обзора - заполн…
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в дете…
Как мы описали 15 000 таблиц за полгода вместо 500 за год — и перестали писать документацию руками
Годы идут, но что‑то остаётся неизменным: писать документацию никто не любит, но тем не менее все почему‑то ругают тех, кто её н…
Оптимизация MPP-кластера: предсказываем потребление памяти SQL-запросов
В аналитике больших данных системы массивных параллельных вычислений часто находятся под постоянной нагрузкой в режиме 24/7. Из десятков и сотен тыс…
Ускоряем федеративные запросы в StarRocks
Когда речь заходит про Lakehouse и федеративный доступ , многие вспоминают про Trino и… часто на этом все. Но федеративные запросы поддерживаются в…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Apache Paimon: steamhouse как логическое продолжение современных КХД
Apache Paimon: стриминговый lakehouse для дата-инженеров Сколько систем вы держите ради того, чтобы аналитики видели события через секунды, а годовы…
Теория и практика DWH: что такое согласованные факты и измерения по Кимбаллу и зачем они нужны
Небольшой обзор идей согласованности в DWH на основе книг Кимбалла. В статье - краткий разбор некоторых принципов моделирования данных простыми слов…
У абонента положительный баланс, а услуга не работает: как DWH помог найти причину
Личный кейс из телекома: как мы сопоставляли биллинг, 1С, адреса, услуги и партнерскую платформу, чтобы найти, где нарушается синхронизаци…
Сколько телефонов и планшетов продали партнёры: единое хранилище данных для бренда электроники
На связи Анна Астахова, коммерческий директор ИТ-интегратора «Белый код». В компаниях с развитой сетью партнеров топ-менеджерам нужны оперативные да…
Что такое DWH (КХД) и как работает корпоративное хранилище данных
Собрали для вас подробный материал про DWH — корпоративное хранилище данных: — что это такое и как работает КХД - простыми словами — когда DWH дейст…
DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0
Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов
Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я…
Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях
В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый реп…