RU

Пока все хоронили пайплайны, ClickHouse достраивал слои

«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse пост…

clickhousepostgresqlClickstackolaplakehousedata engineeringobservabilityколоночная субдClickHouse AgentsOpen House 2026
Habr
RU

Как я собрал базу визовых требований, где каждая ячейка ссылается на официальный источник

Привет, сообщество. Где-то два месяца назад мне пришла в голову идея, очень простая по своей сути, но ой как обширная, если начать в ней копаться боле…

визывизовое законодательствозагранпаспортрелокацияэмиграцияоткрытые данныекраудсорсингпутешествияdata engineering
Habr
RU

Data Mesh: что это и почему концепция не подходит большинству компаний в России

Как устроен Data Mesh, какие требования подход предъявляет к бизнесу и почему большинству российских компаний сегодня зачастую важнее построить зрелое…

data meshbigdatadata engineeringанализ данныхбизнес-аналитика
Habr
RU

Как я собрал эталонный Data Engineering проект: ClickHouse, Kafka, Spark, dbt, Airflow и Superset за одну команду

Меня зовут Андрей, я работаю с данными. И так получается, что на реальных проектах у меня никогда не было возможности собрать идеальный, на мой взгляд…

data engineeringdata sciencedata miningbig datacryptocurrency
Habr
RU

AI-метрдотель для ресторанной сети: архитектура, сценарии и интеграции

Чат-боты в ресторанном бизнесе чаще всего начинают с простой задачи: снять часть нагрузки с менеджеров и отвечать гостям на типовые вопросы. На практи…

ai-ассистентыragtelegram apicrm-системыпроектирование apipostgresqlqdrantdata engineeringавтоматизация бизнесачат-боты
Habr
RU

rapeed: in-memory OLAP-движок с собственной алгеброй связей

Меня зовут Андрей Рыжик, я Product Owner BI-направления в компании «Белый код». Эта статья – обзор платформы rapeed: in-memory OLAP-движка с собственн…

biolapin-memoryаналитика данныхdata engineeringвысоконагруженные системыархитектура поdistributed systemsmpprapeed
Habr
RU

Единая база данных гостей для ресторанной сети: интеграция Telegram, Remarked, IIKO, RocketData и платёжных систем

В ресторанных сетях данные о гостях часто распределены между несколькими системами. Бронирования хранятся в одном сервисе, чеки — в ресторанной учётно…

data engineeringcustomer data platformiikoбазы данныхtelegram apiклиентская аналитикаискусственный интеллект
Habr
RU

Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу

Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения, …

impalaapache impalaclouderacloudera managerhadoopsqlquery optimizationdata engineeringobservabilitybigdata
Habr
RU

Вам продают ИИ. Покупать нужно не его

Звонил мне на днях один знакомый CIO. Питерский, ритейл, средний бизнес, ничего особенного. Слушай, говорит, надо нам с ИИ что-то делать: все вокруг в…

llmragискусственный интеллектлокальные моделиэмбеддингиархитектура данныххранилища данныхвнедрение ииdata engineeringцена ошибки
Habr
RU

DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0

Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой. …

dwhdata warehouseclickhouseapache icebergtrinolakehousedata engineeringархитектура данныхdata vaultdba
Habr
RU

S3 Архипелаг: разворачиваем объектное хранилище за 15 минут

На связи Илья Шуйков, руководитель продукта «Фабрика данных» компании Диасофт. В прошлой статье мы рассказали, зачем понадобилось строить свое объектн…

объектное хранилищехранилищеs3объектное хранилище s3хранение данныхdata engineeringфабрика данныхDigital Q.DataFactoryS3 Архипелаг