RU

[Перевод] Как Cloudflare отодвинул закупку железа на 8 месяцев: сэмплирование, агрегации и zstd в конвейере данных

Команда Data в Cloudflare рассказывает, как держит под контролем конвейер данных, через который идёт около двух миллиардов событий в секунду, пока т…

CloudflareClickHousezstdсэмплированиеконвейер данныханалитикасжатие данныхLZ4
Habr
RU

Ещё одна таблица: как мы считали потребность в сырье по данным 1С

У одного из сотрудников TRI было около шести Excel-таблиц. Он выгружал данные из 1С, переносил их в свои файлы и занимался тем, чем приходится заним…

бизнес-аналитикаавтоматизация закупокпланирование производствапотребность в сырьеуправление запасами1СClickHouseYandex DataLensExcelвнедрение BI
Habr
RU

Как мы разворачиваем ClickHouse-кластер через Arenadata: практический гайд для DevOps

Привет, Хабр! Меня зовут Никита Ивкин, я — ведущий DevOps-инженер РТЛабс, работаю с инфраструктурой Госуслуг. Сегодня я покажу один из наших реальны…

devopsClickHouseArenadataADCMADQMкластеррепликацияSSH hostproviderимпортозамещениеотказоустойчивость
Habr
RU

Как AVM переживает обновления и рост инфраструктуры

Мы продолжаем рассказывать, как создавали AVM собственную платформу управления виртуальными машинами Aéza. В этой части разберём, как обновляем сист…

AVMвиртуализацияживая миграцияDevOpsинфраструктураотказоустойчивостьPostgreSQLClickHouseвиртуальные машинытелеметрия
Habr
RU

Как мы перестроили корпоративную аналитику: ClickHouse и XLTable

Когда корпоративное хранилище данных становится слишком сложным, проблема постепенно перестает быть только технической. Сложно не только загрузить д…

ClickHouseXLTableOLAP-кубыаналитическое хранилищеDWHбизнес-аналитикааналитика данныхPostgreSQLETLBI
Habr
RU

Apache Iceberg: Индиана Джонс и Каталог судьбы

*.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы ил…

Apache Icebergкаталог данныхPolarislakehousedata engineeringPostgreSQLClickHouseTrinoDuckLakeобъектное хранилище.
Habr
EN

Cloudflare Details Unified Data Platform Where Billing Workloads Account for 53% of Queries

Cloudflare details Town Lake, an internal unified data platform, and Skipper, an AI analytics agent unifying access to operational, billing, securit…

Apache IcebergEnglish QuerySQLGoogle BigQueryNatural Language ProcessingClickHousePostgresData LakeAgentsBusiness IntelligenceBig DataData AnalyticsData GovernancePlatform EngineeringMetadataCloudflareObject DatabasesArchitecture & DesignDevelopmentAI, ML & Data Engineeringnews
InfoQ
RU

Когда мониторинг молчит: поиск скрытых деградаций сети с помощью ClickHouse

В телеком-сети возник класс «тихих» деградаций: абоненты сообщали, что при отличном уровне сигнала невозможно совершить или принять голосовой вызов,…

ClickHouseSQLдетекция аномалийвременные рядымониторинганомалии в данныхдеградации сетисезонностьIslands and Gapsанализ данных
Habr
RU

5 ошибок при миграции с PostgreSQL на ClickHouse: как не убить производительность индексами

В этой статье разбираем пять конкретных ошибок при миграции индексов, которые мы совершали сами на реальных проектах. Почему B‑tree н…

ClickHousePostgreSQLиндексымиграция баз данныхпроизводительность БДMergeTreeархитектура данных
Habr
RU

[Перевод] Как мы перешли на Opus и стали платить меньше

На прошлой неделе мы писали о том, как  скармливали терабайты CI-логов LLM . Большинство вопросов на Hacker News касались не самих логов — спра…

LLM-агентыmulti-agentClaude OpusClaude HaikuоркестраторtriagerClickHouseсемантический поискстоимость инференса