RU

650 млн точек, 3 поломки и PI System: технический разбор предиктивной аналитики на НПЗ (часть 2)

Часть 2 из 2. В первой части серии мы предсказали отказ насоса за 60 дней и выяснили, что годами чинили не то. Увидели, что материал встретил вашу ж…

машинное обучениеdata engineeringbig dataпромышленностьнефтегазпредиктивная аналитикаtime seriesanomaly detectionmlopsindustrial ocean
Habr
RU

Внедрили AI-агента в BI-систему — чистая магия в обработке и визуализации терабайтов данных

Привет, это команда Далее . На одном из проектов у нас есть терабайты данных о рекламных кампаниях, которые хранятся на десятках площадок. Это множе…

aibimcpbig datadata analysisdata structures
Habr
RU

Как я собрал эталонный Data Engineering проект: ClickHouse, Kafka, Spark, dbt, Airflow и Superset за одну команду

Меня зовут Андрей, я работаю с данными. И так получается, что на реальных проектах у меня никогда не было возможности собрать идеальный, на мой взгл…

data engineeringdata sciencedata miningbig datacryptocurrency
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech