От SQL-запроса до результата — в одном окне. Обзор на dbt-модуль в SubQuery
Привет! Меня зовут Маргарита, я BI-архитектор в Далее. Моя задача — чтобы клиенты получали подготовленные данные в удобном для них виде. В этом мне…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Как использовать Neo4j в data engineering проекте: практический пример с Kafka, ClickHouse и Airflow
Когда говорят о Neo4j, чаще всего вспоминают social networks, fraud detection, recommendation systems или knowledge graphs. Но графовая база может б…
dbt Is Leaving the Warehouse. Are Your Pipelines Ready?
dbt built the modern analytics workflow. Now the transformation layer is moving upstream — and the gap between SQL models and runtime execution is b…
Three months of sales vanished, and every dbt run was green
In this article I'll show you how a dbt incremental model that looked perfectly reasonable wiped out three months of finance data, why none of our c…
A bad batch loaded with zero errors. One row added $4.5 million.
I built a small warehouse, fed it a batch of orders with twelve defects planted in it, and watched the load succeed. Every row landed. Summed as loa…
56 fault-injection tests passed. The one that injected nothing failed.
I was building a tool that detects when data quietly changes meaning — a vendor switching units, a source dropping a field, an undocumented enum app…
5 Habits That Keep a dbt Project From Turning Into a Mess
I once inherited a dbt project where the same "active customer" filter existed in four different models, each written slightly differently. Two of t…
Как я собрала Customer 360 с нуля и что поняла про analytics engineering
У банков и ритейлеров, с которыми я работала, почти всегда одна и та же боль: данные о клиенте размазаны по CRM, core-banking и платёжным системам,…
zhao-dbt-plan: a microbatch cascading time-window planner for dbt
A few days ago I posted about zhao-cli , a breaking-change gate for dbt (link at the bottom if you missed it). This is the second tool in the same f…
Why I stopped guessing at Spark and dbt config values
I've spent more than a decade building data pipelines, and the part nobody warns you about isn't the pipeline logic. It's the tuning. Executor memor…
Using dbt to Transform OpenSky Flight Data
Building an OpenSky Flight Data Pipeline with dbt Core Recently, I built an OpenSky Flight Data Pipeline that ingests aircraft state vectors into Po…
Lightdash — BI, который живёт внутри вашего dbt‑проекта
Я — аналитик данных в команде BIGDATAHOUSE, и на всех проектах трансформацию данных реализую через dbt — де‑факто стандарт, в&nb…
Modern Data Stack Migration — Day 1: Scaling to 8+ Companies with DRY Architecture and Chasing a $2M Discrepancy
Hello everyone! Following up on my previous post , Day 1 of my Modern Data Stack migration was an absolute rollercoaster of refactoring and deep dat…
Контракты данных между командами: гайд по data contracts в дата‑пайплайнах
Когда пайплайн отработал без ошибок, тесты зелёные, а в дашборде внезапно нули, проблема может быть не в инфраструктуре, а в отсутствии договорённос…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…