RU

CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»

Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…

mlopssparkairflowdelta lakes3data engineeringмашинное обучениепрогнозирование спросаDataOpsоркестрация пайплайнов
Habr
RU

Databricks обещал конец баз данных. Читаем мелкий шрифт

Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с с…

Data Lakehousedatabricksclickhouseapachereydenlakebasedelta lakeducklakepostgresхранилища данных