🌪️ HomeLab Chronicles: Episode 4 - Turbulence
Hey all 👋 Sit tight! Because this is a little lengthy one. Last episode I closed by announcing that I would be adding two more nodes and bringing in…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в дете…
10 инсайтов, которые я нашел, когда автоматизировал конкурентную аналитику
Привет, Хабр! На связи Влад Михайлов, Marketing Analyst в Garage Eight. Не знаю, замечали ли вы, но последние несколько лет открытых данных о мобиль…
Databricks Workflows vs Airflow vs Dagster: Picking an Orchestrator
Every data team eventually asks the same question: what runs our pipelines, on what schedule, with what retry logic, and who gets paged when it fail…
Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации
Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времен…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
Airflow: A Beginner's Guide
Introduction: I Built a Pipeline. Now What? In the previous article Understanding ETL: A Chaotic Introduction , I built a simple pipeline, and after…
Свой инструмент для бенчмаркинга ИИ-агентов: архитектура, надёжность и интеграция с Airflow
Всем привет! Мы создаём GraphRAG-систему и нам постоянно приходится тестировать новые гипотезы: менять подходы к поиску по графу, обработку контекст…
Kafka for Data Engineers: Core Concepts, KRaft, and the Patterns That Actually Work
If your Kafka Docker Compose still has a ZooKeeper service in it, your setup is already legacy. As of Kafka 4.0 (released March 2025), ZooKeeper is…
RAG без downtime: настраиваем инкрементальное обновление документов на Qdrant и LangChain
PM: Нам нужно актуализировать базу знаний для ИИ-ассистента, там изменилась инструкция по смене пароля. DevOps: Не проблема, сейчас запущу скрипт, ч…
Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow
Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благ…
My 10-Minute Airflow Pitch Approach
"Good Morning, can you check if the pipelines ran successfully?". A sentence that probably many of us know or heard a few times before. But, wouldn'…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Airflow TaskFlow API: внутреннее устройство современного способа писать DAG-и
Немного погрузимся во внутреннее устройство Apache Airflow и разберёмся, что на самом деле происходит за красивым синтаксисом TaskFlow API. Посмотри…
We Upgraded Airflow 2.8 to 3.1 on Kubernetes. Here Is What Actually Changed
We recently finished upgrading a production Airflow instance from 2.8 to 3.1 running on Amazon EKS . The whole thing took about 6 weeks from plannin…
Building Your First Airflow DAG: Extracting Stock Data with Massive
When stepping into the world of data engineering, Apache Airflow is likely one of the first tools you will encounter. It is the industry standard fo…
A Beginners Guide to Apache Airflow
Introduction In data engineering we build data pipelines using approaches such as ETL(extract, transform, load) and ELT(extract, load, transform). T…