RU

Предиктивное обслуживание в промышленности: три системных условия, без которых технологии не работают

Сотни миллиардов вложены в IIoT, предиктивную аналитику и цифровые двойники. Но часто проекты предиктивного ТОиР достигают технологического успеха —…

bigdataискусственный интеллектindustrial iotдетектор аномалиймониторинг оборудования
Habr
RU

Пишем свой Native Filter плагин для Apache Superset: пошаговый рабочий туториал

Всем привет! Меня зовут Александр Цай, я ведущий инженер-аналитик в МТС Web Services. Занимаюсь всем, что связано с данными и ИИ. Найти, заполучить,…

apache supersettutorialdyiвизуализация данныхsqlbigdataapachefrontendtypescript
Habr
RU

От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse

Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту. Каждый день мы доставляем около 10 млрд записей…

highloadclickhousebackendsystem-designbigdataбазы данныsqlolapархитектура данныхozon tech
Habr
RU

Пилот дата-агента: шаблон брифа, приёмка по 50 вопросам и пять метрик, по которым его закрывают

Привет, это команда BI GlowByte. Это третий разбор материалов FanRuan про дата-агентов. В первом смотрели , чем агент отличается от ИИ-помощника. Во…

finebifanruandorabigdataagentdashboardпилотирование технологийfinereportdatavizдашборд
Habr
RU

Пять вопросов, на которые должны отвечать ваши данные, прежде чем с ними начнёт работать ИИ-агент

Привет, это практика BI GlowByte. В прошлой статье мы говорили про новый продукт FanRuan Dora – дата-агентов поверх BI. Мы разобрали, как устроены а…

dorafinebifanruanbigdataaibibusiness intelligencedashboarddatavizagent
Habr
RU

От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon

Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…

annrecsysbigdataretrievalknnsparkpytorchgpuрекомендательные системыozon tech
Habr
RU

От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»

Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…

data engineerbigdatamlopsdata scienceosapysparkоблачные вычисленияархитектура системыdatalake
Habr
RU

Автоматизация разработки и деплоя потоков Apache NiFi

Я Игорь Юрченко, backend-разработчик Сбера, в этой статье расскажу о нашем опыте автоматизации деплоя потоков Apache NiFi. Apache NiFi — инструмент…

nifinifi deploymentnifi registryetletl-процессыetl-пайплайнetl-фреймворкetl-потокиetl-процессbigdata
Habr
RU

Data Mesh: что это и почему концепция не подходит большинству компаний в России

Как устроен Data Mesh, какие требования подход предъявляет к бизнесу и почему большинству российских компаний сегодня зачастую важнее построить зрел…

data meshbigdatadata engineeringанализ данныхбизнес-аналитика
Habr
RU

Сколько стоит войти в IT в 2026

Мы проанализировали 3 489 IT-курсов, чтобы вы не тратили деньги вслепую 98 000 рублей. Столько стоит медианный IT-курс в 2026 году. Но это средняя т…

аналитика данныханалитикааналитика рынкакурсы программированияденьгинавыки программированиякарьера ит-специалистаpythonbigdata
Habr
RU

Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу

Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения…

impalaapache impalaclouderacloudera managerhadoopsqlquery optimizationdata engineeringobservabilitybigdata
Habr
RU

Нагрузочное тестирование динамического маскирования в Apache Ranger: что происходит с производительностью запросов

Привет, Хабр! На связи Илья Амосов из команды поддержки Lakehouse-платформы данных Data Ocean Nova вендора Data Sapience. В сегодняшней публикации я…

mpplakehousedatalakehousedwhbigdataranger