RU

[Перевод] Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных

Команда Data в Cloudflare рассказывает, как держит под контролем конвейер данных, через который идёт около двух миллиардов событий в секунду, пока т…

CloudflareClickHousezstdсэмплированиеконвейер данныханалитикасжатие данныхLZ4
Habr
RU

Ещё одна таблица: как мы считали потребность в сырье по данным 1С

У одного из сотрудников TRI было около шести Excel-таблиц. Он выгружал данные из 1С, переносил их в свои файлы и занимался тем, чем приходится заним…

бизнес-аналитикаавтоматизация закупокпланирование производствапотребность в сырьеуправление запасами1СClickHouseYandex DataLensExcelвнедрение BI
Habr
RU

Как мы разворачиваем ClickHouse-кластер через Arenadata: практический гайд для DevOps

Привет, Хабр! Меня зовут Никита Ивкин, я — ведущий DevOps-инженер РТЛабс, работаю с инфраструктурой Госуслуг. Сегодня я покажу один из наших реальны…

devopsClickHouseArenadataADCMADQMкластеррепликацияSSH hostproviderимпортозамещениеотказоустойчивость
Habr
RU

Как AVM переживает обновления и рост инфраструктуры

Мы продолжаем рассказывать, как создавали AVM собственную платформу управления виртуальными машинами Aéza. В этой части разберём, как обновляем сист…

AVMвиртуализацияживая миграцияDevOpsинфраструктураотказоустойчивостьPostgreSQLClickHouseвиртуальные машинытелеметрия
Habr
RU

Как мы перестроили корпоративную аналитику: ClickHouse и XLTable

Когда корпоративное хранилище данных становится слишком сложным, проблема постепенно перестает быть только технической. Сложно не только загрузить д…

ClickHouseXLTableOLAP-кубыаналитическое хранилищеDWHбизнес-аналитикааналитика данныхPostgreSQLETLBI
Habr
RU

Apache Iceberg: Индиана Джонс и Каталог судьбы

*.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы ил…

Apache Icebergкаталог данныхPolarislakehousedata engineeringPostgreSQLClickHouseTrinoDuckLakeобъектное хранилище.
Habr
RU

Когда мониторинг молчит: поиск скрытых деградаций сети с помощью ClickHouse

В телеком-сети возник класс «тихих» деградаций: абоненты сообщали, что при отличном уровне сигнала невозможно совершить или принять голосовой вызов,…

ClickHouseSQLдетекция аномалийвременные рядымониторинганомалии в данныхдеградации сетисезонностьIslands and Gapsанализ данных
Habr
RU

5 ошибок при миграции с PostgreSQL на ClickHouse: как не убить производительность индексами

В этой статье разбираем пять конкретных ошибок при миграции индексов, которые мы совершали сами на реальных проектах. Почему B‑tree н…

ClickHousePostgreSQLиндексымиграция баз данныхпроизводительность БДMergeTreeархитектура данных
Habr
RU

[Перевод] Как мы перешли на Opus и стали платить меньше

На прошлой неделе мы писали о том, как  скармливали терабайты CI-логов LLM . Большинство вопросов на Hacker News касались не самих логов — спра…

LLM-агентыmulti-agentClaude OpusClaude HaikuоркестраторtriagerClickHouseсемантический поискстоимость инференса