Как быстро джойнить датафреймы с геоданными на Apache Sedona
Привет, Хабр! Я Павел Молчанов, Data Engineer из группы обработки гео- и медиаданных Big Data компании МТС Web Services. Наш продукт «ГеоЭффект» зан…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Apache Spark и компиляция пользовательских функций UDF на Java в рантайме
Привет, Хабр! Меня зовут Михаил Сичалов, я руководитель проектов и эксперт практики Applied Intelligence в компании Axenix. Это вводная стать…
Невозможно быть вне политики с Airflow Cluster Policies
Привет, Хабр! Я Миша Онянов, Python-разработчик и платформенный инженер в крупнейшем проекте MAGNIT TECH – F&R. Из статьи вы узнаете, как с помо…
Последовательное иерархическое распределение сумм между получателями. Постановка задачи. Выбор технологий
На текущем месте работы я иногда вижу запросы на систему распределения затрат по определенным правилам, которые должны гибко изменяться без необходи…
Выделение одного значащего признака из набора данных с помощью машинного обучения. Используется Apache Spark
В первой части была создана инфраструктура для запуска машинного обучения. Там же была создана БД с данными для использования в примерах. В данной ч…
Инфраструктура для изучения основ машинного обучения на локальном компьютере с помощью Apache Spark
Первой задачей будет следующая. Предположим, откуда-то получаются файлы нескольких типов. Один из получаемых типов будет вызывать увеличение загрузк…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…