Apache ICEBERG: Прикасаюсь к Iceberg… а он горячий
Про Iceberg сейчас много чего понаписано. Либо обзор «формат будущего, открытость, лейкхаус», после которого непонятно, где нажать, либо разбор одно…
DevOps
⚑ Report a ProblemLatest DevOps news from Tech News
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 2
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Это вторая часть разбора, что на самом деле происходит при р…
От сырых проверок качества данных до понятной картины в OpenMetadata
Ни для кого не секрет, что проверки качества — фундамент доверия к данным. Пока вы не знаете, насколько полны и корректны ваши данные, любые основан…
Бесплатного интеллекта не бывает: кто оплачивает данные для LLM
Привет, Хабр! По первому образованию я юрист. Успел поработать в прокуратуре и арбитражном суде, потом ушёл в ИТ и последние 13 лет занимаюсь инфрас…
Как превратить LLM-разметку в универсальный Spark-пайплайн
TL;DR: мы сделали llm_markup — Spark-приложение для массовой обработки данных через LLM API в существующем Airflow-контуре. Источник данных, промпт,…
Аналитика в Postbox: от одной базы данных до YDB Transfer
Привет, Хабр! Меня зовут Дмитрий Наумов, я работаю в команде Yandex Cloud Postbox . Это API для надёжной доставки писем. В статье поделюсь опытом, к…
Аналитика в Postbox: от одной базы данных до YDB Transfer
Привет, Хабр! Меня зовут Дмитрий Наумов, я работаю в команде Yandex Cloud Postbox . Это API для надёжной доставки писем. В статье поделюсь опытом, к…
Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
Представьте: вы разрабатываете антифрод-систему для банка. Пользователь совершает пять покупок подряд за пару минут. Все транзакции успешно попадают…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети
Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 1…
Пока все хоронили пайплайны, ClickHouse достраивал слои
«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse по…
Как я собрал эталонный Data Engineering проект: ClickHouse, Kafka, Spark, dbt, Airflow и Superset за одну команду
Меня зовут Андрей, я работаю с данными. И так получается, что на реальных проектах у меня никогда не было возможности собрать идеальный, на мой взгл…
Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу
Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения…