RU

От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»

Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сети …

data engineerbigdatamlopsdata scienceosapysparkоблачные вычисленияархитектура системыdatalake
Habr
RU

Автоматизация разработки и деплоя потоков Apache NiFi

Я Игорь Юрченко, backend-разработчик Сбера, в этой статье расскажу о нашем опыте автоматизации деплоя потоков Apache NiFi. Apache NiFi — инструмент дл…

nifinifi deploymentnifi registryetletl-процессыetl-пайплайнetl-фреймворкetl-потокиetl-процессbigdata
Habr
RU

Data Mesh: что это и почему концепция не подходит большинству компаний в России

Как устроен Data Mesh, какие требования подход предъявляет к бизнесу и почему большинству российских компаний сегодня зачастую важнее построить зрелое…

data meshbigdatadata engineeringанализ данныхбизнес-аналитика
Habr
RU

Сколько стоит войти в IT в 2026

Мы проанализировали 3 489 IT-курсов, чтобы вы не тратили деньги вслепую 98 000 рублей. Столько стоит медианный IT-курс в 2026 году. Но это средняя тем…

аналитика данныханалитикааналитика рынкакурсы программированияденьгинавыки программированиякарьера ит-специалистаpythonbigdata
Habr
RU

Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу

Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения, …

impalaapache impalaclouderacloudera managerhadoopsqlquery optimizationdata engineeringobservabilitybigdata
Habr
RU

Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я р…

mpplakehousedatalakehousedwhbigdataranger