RU

RAG без downtime: настраиваем инкрементальное обновление документов на Qdrant и LangChain

PM: Нам нужно актуализировать базу знаний для ИИ-ассистента, там изменилась инструкция по смене пароля. DevOps: Не проблема, сейчас запущу скрипт, чер…

ragetl-пайплайнqdrantqdrant vector storeмасштабированиеairflowpythonrag система
Habr
RU

Строим машину времени для данных (SCD-2) на движке Trino под управлением Airflow

Сегодня SCD-2-таблицы не только остаются актуальными для медленно меняющихся данных, но и, на мой взгляд, становятся гораздо проще в реализации благод…

scd type 2trinoicebergairflowlakehouseetlslowly changing dimensionsdata meshвитрина данныххранилище данных
Habr
EN

My 10-Minute Airflow Pitch Approach

"Good Morning, can you check if the pipelines ran successfully?". A sentence that probably many of us know or heard a few times before. But, wouldn't …

dataairflow
Dev.to
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr