How to Convert XML to PARQUET?
To Convert XML to PARQUET format can be achieved either through automated enterprise tools or customized ETL scripts: Automated Enterprise Software:…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Why Data Reconciliation Matters in AWS Glue: Finding Missing Records with Anti Joins
A pipeline can be green and still have a data problem. This is one of the things I learned while working with data pipelines. A Glue job can complet…
Stream 50 million rows without OOM: Lazy chunked Query Streaming.
Stream 50 million rows without OOM: Lazy chunked Query Streaming. Day 09 of the WClickHouse Open-Source Engineering Series. You don't need 64GB of R…
From Pandas DataFrame to ClickHouse in milliseconds without SQL loops.
Day 05 of the WClickHouse Open-Source Engineering Series. Never use df.iterrows() to insert data into an analytical database. WClickHouse insert_dat…
Zero-copy columnar transfer: Apache Arrow meets ClickHouse in Python.
Day 04 of the WClickHouse Open-Source Engineering Series. Row serialization is the biggest bottleneck in Python analytics. WClickHouse insert_arrow(…
Never create 1-row ClickHouse parts again: The built-in Buffer Manager.
Day 03 of the WClickHouse Open-Source Engineering Series. You don't need a Redis cluster just to protect ClickHouse from single-event streaming writ…
Mengenal Data Engineering: Pahlawan di Balik Layar Dunia Data - 23:08
Pernahkah Anda bertanya-tanya bagaimana perusahaan raksasa seperti Netflix atau Google mengelola data yang jumlahnya triliunan gigabyte setiap harin…
Интеграция Apache NiFi с корпоративной системой управления секретами
Привет, Хабр. Я Игорь Юрченко, backend-разработчик Сбера. В предыдущей статье я описал автоматизацию развёртывания потоков NiFi, а сейчас расскажу о…
Modern Data Lakehouses: How Apache Iceberg Solved the Pitfalls of Hive Metastore
Introduction When a data platform grows from a few gigabytes to terabytes or petabytes, storing the data is only one part of the problem. A typical…
PyArrow, Explained: How Zero-Copy Actually Works, and Why It's Everywhere
Every time data moves between two tools in a modern Python data stack — a DuckDB query result becoming a pandas DataFrame, a Polars frame getting ha…
ClickHouse: строковая оптимизация с LowCardinality
Привет, Хабр! В прошлых статьях мы разбирали основной движок ClickHouse - MergeTree , материализованые представления и словари . В этой статье разбе…
Какая LLM поможет вам заработать в 2026/27 году
Сегодня у айтишников появилось новое хобби - делать свой SaaS или писать торговых ботов с помощью LLM Порог входа резко снизился: достаточно хорошей…
Sharing memory between processes with java.lang.foreign and jextract
Java Foreign Function and Memory API ( java.lang.foreign ) is a powerful tool that you can use to take advantage of various OS-specific optimization…
Install Hadoop on WSL2 Ubuntu (2026): Complete Step-by-Step Guide
If you've searched "install Hadoop on WSL," you've probably found guides from 2020–2023, most written for WSL1 or old Hadoop 3.2/3.3.0 builds. This…
Предиктивное обслуживание в промышленности: три системных условия, без которых технологии не работают
Сотни миллиардов вложены в IIoT, предиктивную аналитику и цифровые двойники. Но часто проекты предиктивного ТОиР достигают технологического успеха —…
[EN] Data Driven/Big Data Series #1: Apache Kafka and Elastic Stack Roles
This is the first in a series exploring the roles of Search and Streaming technologies within the Data Driven (Big Data) environment. In this post,…
Пишем свой Native Filter плагин для Apache Superset: пошаговый рабочий туториал
Всем привет! Меня зовут Александр Цай, я ведущий инженер-аналитик в МТС Web Services. Занимаюсь всем, что связано с данными и ИИ. Найти, заполучить,…
Apache Data Lakehouse Weekly: August 5 - August 12, 2026
This Week at a Glance The Iceberg community opened a formal scoping discussion for the v4 table spec, with Daniel Weeks laying out three workstream…
AI-дайджест #3
Друзья, всем привет! На связи Ольга Попова, ИИ-Евангелист Лаборатории искусственного интеллекта Департамента больших данных Россельхозбанка. Я подго…
От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse
Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту. Каждый день мы доставляем около 10 млрд записей…
Пилот дата-агента: шаблон брифа, приёмка по 50 вопросам и пять метрик, по которым его закрывают
Привет, это команда BI GlowByte. Это третий разбор материалов FanRuan про дата-агентов. В первом смотрели , чем агент отличается от ИИ-помощника. Во…
Пять вопросов, на которые должны отвечать ваши данные, прежде чем с ними начнёт работать ИИ-агент
Привет, это практика BI GlowByte. В прошлой статье мы говорили про новый продукт FanRuan Dora – дата-агентов поверх BI. Мы разобрали, как устроены а…
[Перевод] Дата-агенты поверх BI: кто такая Dora и что она может сделать с вашими данными
Всем привет! На связи Александр Ларин, руководитель центра поддержки и обучения в GlowByte. Компания GlowByte – официальный партнер FanRuan по внедр…
The pipeline passed. The data still needs proof.
A pipeline job finishes without an error. The new table has 18% fewer rows. Should you rerun the pipeline, stop the release, or trust the new output…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
Оптимизация MPP-кластера: предсказываем потребление памяти SQL-запросов
В аналитике больших данных системы массивных параллельных вычислений часто находятся под постоянной нагрузкой в режиме 24/7. Из десятков и сотен тыс…
От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»
Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…
Где искать обучающие материалы по FineBI: разбираем источники
Меня зовут Александр Ларин, я руковожу центром обучения и технической поддержки в GlowByte. Мы постоянно внедряем FineBI у клиентов и регулярно слыш…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Event Sourcing в платформе данных: миграция с JSON на Avro
Иногда legacy живёт в компании годами не потому, что он плох, а потому что «работает — не трогай». Но однажды поя…