RU

Последовательное иерархическое распределение сумм между получателями. Постановка задачи. Выбор технологий

На текущем месте работы я иногда вижу запросы на систему распределения затрат по определенным правилам, которые должны гибко изменяться без необходимо…

sparkgraphapache spark
Habr
RU

Выделение одного значащего признака из набора данных с помощью машинного обучения. Используется Apache Spark

В первой части была создана инфраструктура для запуска машинного обучения. Там же была создана БД с данными для использования в примерах. В данной час…

pythonpython3machinelearningmlapache spark
Habr
RU

Инфраструктура для изучения основ машинного обучения на локальном компьютере с помощью Apache Spark

Первой задачей будет следующая. Предположим, откуда-то получаются файлы нескольких типов. Один из получаемых типов будет вызывать увеличение загрузки …

apache sparkmachine learningmachine-learningpostgresqlsql
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech