Grounding Palantir AIP Workflows in the Ontology: Tool Design, Guardrails, and Evaluation Patterns
Migrating Legacy ETL Pipelines to Palantir Foundry: Incremental Processing, Schema Evolution, and Reconciliation Replacing a legacy ETL platform is…
Последние новости
⚑ Сообщить о проблемеTech news from the best sources
Все темы
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Announcing det: - Fast, local-first SQL ETL workspace and pipeline orchestration engine
What if you could build complete, production-grade ETL pipelines in Pure SQL… without Jinja templates, without a database server, and without heavy…
Fivetran vs Estuary for Real-Time ETL
Quick answer : Estuary is the better tool for real-time ETL when a consumer needs database changes in seconds: it streams log-based CDC continuously…
DVT — новый open source ETL (Low-Code и не только)
Привет! На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Я достаточно много занимаюсь интеграциями, хранилищами данных и BI…
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 2
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Это вторая часть разбора, что на самом деле происходит при р…
Интеграция Apache NiFi с корпоративной системой управления секретами
Привет, Хабр. Я Игорь Юрченко, backend-разработчик Сбера. В предыдущей статье я описал автоматизацию развёртывания потоков NiFi, а сейчас расскажу о…
Как хранить данные так, чтобы их можно было успешно анализировать
Что бы мы ни делали, в результате генерируются данные. А когда ничего не делаем, тоже генерируются – только другие. Все, что сгенерировали, потом ан…
Запилить еще один Low‑Code ETL? — Конечно, да. Как мы пошли в opensource
Когда много работаешь с ИТ‑проектами, быстро понимаешь, какие инструменты действительно экономят время команды. Я работаю аналитиком и арх…
ETLT++
Поговорим о методологии интеграции источников с хранилищами данных. Статья описывает научную теорию и носит задачу упорядочить свои собственные знан…
Azure Synapse Databricks: A Migration Playbook That Survives Production
Azure Synapse → Databricks: A Migration Playbook That Survives Production A field-style guide for Lead / Senior Data Engineers moving Dedicated SQL…
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы и…
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 1
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Эта статья — попытка собрать в одном месте внутренние механи…
ETL + ELT = EtLT
Привет! Заметка о правильности названий ETL процессов. Расставим точки над i. Всегда было же нормально, коротко и звучно ETL. Теперь все чаще мелька…
FlatAdapter для преобразования иерархических структур
Превращаем иерархические структуры в набор плоских строк готовых для импорта в БД flat-adapter преобразует нетипизированные вложенные mapping в дете…
Understanding Pega's `pzPVStream`: Why a 20-Year-Old Design Still Makes Sense
One of the most misunderstood parts of the Pega Platform is pzPVStream . Newcomers often describe it as a "black box", while experienced architects…
Всё по полочкам или как мы создавали единую метрику для сотен моделей антифрода
Всем привет! Меня зовут Аня Шатшнайдер, я старший BI-разработчик в команде антифрода Авито . Мы пользуемся сотнями ИИ-моделей, чтобы бороться с дейс…
Как LLM могут помочь определить Data Lineage
Сегодня данные стали основой для принятия решений, а их качество и прозрачность — критичными факторами успеха любого бизнеса. Однако с ростом объёма…
Заставляем Airflow самого заводить задачи в YouTrack без смс и регистрации
Работая единственным QA в команде, в обязанности которого активно входит мониторинг, я столкнулась с проблемами тайм-менеджмента: очень много времен…
wide CSV 여러 개를 EAV로 모아 gold mart 만들기
wide CSV 여러 개를 EAV로 모아 gold mart 만들기 현실의 데이터 소스는 한 가지 모양으로 오지 않는다. 같은 의미의 값도 어떤 파일에서는 생산수량 , 다른 파일에서는 units , 또 다른 파일에서는 made 로 올 수 있다. 온도도 어떤 곳은 섭씨…
schema drift를 fail이 아니라 warn으로 둔 이유
schema drift를 fail이 아니라 warn으로 둔 이유 데이터 파이프라인에서 source schema가 바뀌는 순간은 애매하다. 무조건 무시하면 운영자는 입력 구조가 바뀐 사실을 모른다. 반대로 모든 schema 변화를 실패로 처리하면, 정상적인 컬럼 추가…
source_hash로 같은 입력 재처리를 안전하게 skip하기
source_hash로 같은 입력 재처리를 안전하게 skip하기 작은 데이터 파이프라인도 한 번만 실행된다고 가정하면 금방 거짓말이 된다. 실제로는 같은 파일을 다시 실행할 수 있다. 실패한 run을 재시도할 수도 있고, 과거 날짜를 backfill할 수도 있고,…
Каталог данных: что нужно знать, прежде чем начинать внедрение
Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и ис…
Каталог данных: что нужно знать, прежде чем начинать внедрение
Объем данных в компаниях постоянно растет, и это вынуждает бизнес и ИТ-специалистов перестраивать ИТ-ландшафт, чтобы упростить поиск, понимание и ис…
AgTech без хайпа: как мы строим систему, которая доводит агронома от симптома на поле до решения
Автор: Олег Линьков, Webformula ( webformula-agro.ru ) Агросектор — одна из самых недооценённых ниш для прикладного AgTech. Здесь нет хайпа вокруг L…
Автоматизация разработки и деплоя потоков Apache NiFi
Я Игорь Юрченко, backend-разработчик Сбера, в этой статье расскажу о нашем опыте автоматизации деплоя потоков Apache NiFi. Apache NiFi — инструмент…
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…
FIFO на миллионах строк: как подружить бонусы, SQL и асимметричный N×M-граф
Всем привет! Меня зовут Иван Привалов , я разработчик в команде BI Авито Финтеха и в этой статье расскажу, как мы сделали FIFO-сопоставление между N…
Сквозная аналитика B2C на коленке: Google Sheets, Python и Claude Code за две недели
Сквозная аналитика для B2C: связать клик в рекламе с оплатой и посчитать ROMI. Ядро MVP (реклама + веб + биллинг в Google Sheets, дашборд в BI) соби…
From STTM to Snowflake SQL: Building a Metadata-Driven Data Engineering Copilot
Most data engineering teams do not struggle because they lack smart people. They struggle because too much of the delivery process is still repetiti…
Building My First End-to-End ETL Pipeline with Airflow, BigQuery, and Docker
Recently, I completed my first full Data Engineering project: building an end-to-end ETL pipeline using real-world Australian weather data spanning…