RU

Единая платформа данных: где CDO провести границу между центром и доменами

Финансовая служба хочет одну согласованную цифру продаж. Коммерческий блок — менять расчёты без очереди к центральной команде. Информационная безопа…

архитектура данныхCDOплатформа данныхData GovernanceData Engineering
Habr
RU

Данные загрузились — всё ли сошлось? Как мы обеспечиваем согласованность в аналитическом хранилище

В видеоаналитике важно не только распознать объект, но и правильно связать его с контекстом: временем, местом, камерой и&nb…

Data Engineeringинженерия данныхсинхронизация данныхсогласованность данных
Habr
RU

ГАР/ФИАС: как получить актуальный адрес с пространственным положением

Регулярно возникает ситуация, когда необходимо найти местоположение достоверного и актуального адреса или группы адресов, чтобы использовать их…

ГАРФИАСGISгеоданныеадресные данныеData Engineeringspatial data
Habr
RU

[Перевод] Delta Lake 4.3: Выборочная замена данных и API-интерфейсы каталога Unity Delta

Методы replaceUsing и replaceOn обеспечивают более удобный способ перезаписи, а каталог теперь проверяет каждую операцию, а не только фиксацию. Выпу…

Delta LakeUnity CatalogDatabricksBig DataApache SparkData EngineeringreplaceUsingДата инженерия
Habr
RU

Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два…

1Свыгрузка данныхавтоматизацияSQLETLинтеграция данныхбазы данныхData Engineeringобработка данныханалитика данных
Habr
RU

Как мы научили ML предсказывать смерть насоса за 60 дней и выяснили, что все время чинили не то (часть 1)

Насос на НПЗ ломался каждые три месяца. Ремонтники меняли подшипники, но проблема возвращалась. Мы предложили не просто мониторить вибрацию, а найти…

Машинное обучениеПредиктивная аналитикаНефтегазData EngineeringIIoTКейсыТОиРЦифровая трансформацияData SapienceIndustrial Ocean
Habr
RU

ContentCombine: как я сделал мультинишевый контент-комбайн и запустил ежедневный SEO-дайджест

Я сделал ContentCombine — мультинишевый контент-комбайн, который собирает материалы из RSS, Telegram, сайтов и других источников, нормализует их, сч…

ContentCombineконтент-комбайнагрегатор новостейData EngineeringNLPискусственный интеллектLLMPythonSEOавтоматизация контента
Habr
RU

Контракты данных между командами: гайд по data contracts в дата‑пайплайнах

Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённос…

контракты данныхdata contractsдата-пайплайныDWHData LakeData EngineeringdbtKafkaSchema Registryкачество данных
Habr
RU

Как мы построили сквозную аналитику в Power BI

Всем привет! Меня зовут Никита и я CEO компании VSL-BI. Мы занимаемся внедрением BI-аналитики. К нам обратилась компания из сферы продажи стройматер…

сквозная аналитикаPower BIBI-аналитикаЯндекс ДиректGoogle AdsЯндекс МетрикаБитрикс24ETLData Engineeringбизнес-аналитика