How to Convert XML to PARQUET?
To Convert XML to PARQUET format can be achieved either through automated enterprise tools or customized ETL scripts: Automated Enterprise Software:…
DevOps
⚑ Report a ProblemLatest DevOps news from Tech News
All topics
agents
ai
api
architecture
automation
aws
backend
beginners
cloud
database
devchallenge
devops
docker
javascript
kubernetes
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
testing
tutorial
typescript
webdev
Why Data Reconciliation Matters in AWS Glue: Finding Missing Records with Anti Joins
A pipeline can be green and still have a data problem. This is one of the things I learned while working with data pipelines. A Glue job can complet…
Stream 50 million rows without OOM: Lazy chunked Query Streaming.
Stream 50 million rows without OOM: Lazy chunked Query Streaming. Day 09 of the WClickHouse Open-Source Engineering Series. You don't need 64GB of R…
Zero-copy columnar transfer: Apache Arrow meets ClickHouse in Python.
Day 04 of the WClickHouse Open-Source Engineering Series. Row serialization is the biggest bottleneck in Python analytics. WClickHouse insert_arrow(…
Never create 1-row ClickHouse parts again: The built-in Buffer Manager.
Day 03 of the WClickHouse Open-Source Engineering Series. You don't need a Redis cluster just to protect ClickHouse from single-event streaming writ…
Mengenal Data Engineering: Pahlawan di Balik Layar Dunia Data - 23:08
Pernahkah Anda bertanya-tanya bagaimana perusahaan raksasa seperti Netflix atau Google mengelola data yang jumlahnya triliunan gigabyte setiap harin…
Modern Data Lakehouses: How Apache Iceberg Solved the Pitfalls of Hive Metastore
Introduction When a data platform grows from a few gigabytes to terabytes or petabytes, storing the data is only one part of the problem. A typical…
[EN] Data Driven/Big Data Series #1: Apache Kafka and Elastic Stack Roles
This is the first in a series exploring the roles of Search and Streaming technologies within the Data Driven (Big Data) environment. In this post,…
Apache Data Lakehouse Weekly: August 5 - August 12, 2026
This Week at a Glance The Iceberg community opened a formal scoping discussion for the v4 table spec, with Daniel Weeks laying out three workstream…
The pipeline passed. The data still needs proof.
A pipeline job finishes without an error. The new table has 18% fewer rows. Should you rerun the pipeline, stop the release, or trust the new output…
От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»
Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Event Sourcing в платформе данных: миграция с JSON на Avro
Иногда legacy живёт в компании годами не потому, что он плох, а потому что «работает — не трогай». Но однажды поя…
Автоматизация разработки и деплоя потоков Apache NiFi
Я Игорь Юрченко, backend-разработчик Сбера, в этой статье расскажу о нашем опыте автоматизации деплоя потоков Apache NiFi. Apache NiFi — инструмент…
Что делать, когда твои системы становятся legacy
Всем привет. На связи Дмитрий Немчин из Т-Банка. Снова буду говорить про Greenplum, но в необычном контексте. С 2015 года занимаюсь Greenplum: разви…
The Future of Query Optimization: AI-Driven Insights in Big Data
Query optimization has never been a solved problem. The moment you think your database is running efficiently, data volumes triple, access patterns…
Только Сигма выбирают Delta Lake
Привет, Хабр! Меня зовут Дмитрий Кравчук, я занимаюсь всем, что связано с данными в блоке AI&ML MAGNIT TECH. Расскажу про фундамент прибыльных п…
Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу
Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения…
The Next Decade of Data Engineering: From Modern Data Stack to Data Engineering Harness
Over the past decade, the core evolution of data engineering has been the deconstruction and reconstruction of traditional data warehouse architectu…
Разворачивайте сразу платформу с помощью Stackfile
Helmfile может координировать несколько Helm релизов. Argo CD и Flux могут синхронизировать Kubernetes объекты с Git. Terraform и Pulumi могут созда…
Migrating a ScyllaDB Cluster the “Brain Transplant” Way
Ever tried migrating a ScyllaDB/Cassandra cluster when traditional replication tools are off the table? I went a little "mad scientist" and pulled o…