Движки таблиц ClickHouse
Система баз данных ClickHouse предоставляет изобилие разнообразных движков таблиц, из которых, однако, зачастую на практике разработчиками используе…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Организация конвейера загрузки событий из RabbitMQ в ClickHouse
В DWH требовалось организовать приём событий пользовательского поведения из RabbitMQ и предоставить команде e-commerce доступ к ним с задержкой не б…
Как использовать Neo4j в data engineering проекте: практический пример с Kafka, ClickHouse и Airflow
Когда говорят о Neo4j, чаще всего вспоминают social networks, fraud detection, recommendation systems или knowledge graphs. Но графовая база может б…
Три ИИ-направления, за которыми стоит следить в 2027 году
Большие языковые модели остаются главной темой ИИ-рынка. К OpenAI, Anthropic и Google добавляются китайские Moonshot AI и DeepSeek, а…
OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис
Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть дет…
Как мы мигрировали 40 кластеров ClickHouse: стратегии, проверки и автоматизация
SRE‑инженер Mindbox Дима Рыбалка рассказывает, как команда за два месяца перенесла 40 кластеров ClickHouse в Yandex Cloud. Внутр…
Почему база не видит ваш предагрегат
Инженеры данных построили агрегат — маленькую таблицу «продажи по магазинам по дням». Отчёт из неё собирается за доли секунды. А сводная в Excel всё…
ClickHouse: строковая оптимизация с LowCardinality
Привет, Хабр! В прошлых статьях мы разбирали основной движок ClickHouse - MergeTree , материализованые представления и словари . В этой статье разбе…
ClickHouse: разбираем Dictionaries
Привет, Хабр! В этой статье разберём ещё один инструмент ClickHouse, который часто используется при обогащении данных и позволяет значительно ускори…
Как я написал свой мигратор для ClickHouse — и почему он до сих пор жив
В 2020-м мне понадобилось версионировать схему ClickHouse в CI/CD, а готового инструмента под Go с поддержкой ClickHouse не нашлось ни одного. Пришл…
От struct к компиляции под схему: ускоряем RowBinary-декодер на Python
Я автор aiochlite — асинхронного клиента ClickHouse на aiohttp . Раньше мой декодер RowBinary читал каждое числовое поле отдельно. Если брать 200 ты…
Стоковый ClickHouse занял 12 ГБ диска при 543 КБ данных: сколько на самом деле ест self-hosted observability
Полный self-hosted стек observability (Go-приложение + PostgreSQL + ClickHouse) живёт на VPS с 2 ядрами и 2 ГБ RAM. Но сначала стоковый ClickHouse з…
Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store
Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…
От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse
Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту. Каждый день мы доставляем около 10 млрд записей…
[Перевод] Предел PostgreSQL: как кеш AI-тестов вырос до миллиарда записей и переехал на ClickHouse
От проблем PostgreSQL к скорости ClickHouse. Рассказываем, как переработали архитектуру кеширования для AI-тестов, чтобы выполнять более 2 млн запро…
Apache Iceberg: Индиана Джонс и Каталог судьбы
parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или…
Observability в одном Go-бинарнике: как я собрал self-hosted без Kafka и Redis
Официальный self-hosted-вариант знакомого observability-стека — это под два десятка контейнеров: брокер, воркеры, кэш, отдельное аналитическое храни…
ClickHouse: сценарии, сильные стороны, лучшие практики работы в 2026 году
ClickHouse — один из самых востребованных инструментов для хранения и анализа больших объемов данных, обеспечивающий высокую производительность и на…
ClickHouse: сценарии, сильные стороны, лучшие практики работы в 2026 году
ClickHouse — один из самых востребованных инструментов для хранения и анализа больших объемов данных, обеспечивающий высокую производительность и на…
Пока все хоронили пайплайны, ClickHouse достраивал слои
«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse по…
Databricks обещал конец баз данных. Читаем мелкий шрифт
Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с с…
Шесть недель с agentic AI против фрода в adversarial-системе
Я слишком рано понёс первые результаты в наш продукт. Тогда это выглядело логично: мы прикрутили агентный ИИ к анализу логов и поведения пользовател…
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…
Реалтайм-аналитика «без боли»: миграция из PostgreSQL и Kafka в ClickHouse и визуализация в Superset
Когда у вас появляется продукт с активными процессами и большим количеством пользователей, объём данных начинает расти быстрее, чем ожидалось. На ст…
Технический и продуктовый мониторинг за кастомизациями Битрикс24: как настроить и на что смотреть
Рассказываем и показываем, как можно использовать мониторинг за кастомизациями Битрикс24. Для работы используем телеметрическую инфраструктуру на ба…
Внедрение SQLMesh в команду аналитики
Каждая команда аналитики рано или поздно сталкивается с одной и той же проблемой: SQL-скрипты начинают жить своей жизнью, lineage оказывается неполн…
Как мы собрали систему сетевого мониторинга безопасности для ISP: Zeek, Suricata, OpenSearch и ClickHouse
Мы построили собственную систему мониторинга сетевой безопасности для интернет-провайдера. Она в реальном времени анализирует трафик, помогает видет…
Как мы ускорили сбор аудиторий в 45 раз: с 6 минут до нескольких секунд
К маю 2026 года средний сбор аудитории в нашей системе занимал 2 часа 50 минут. Проблема состояла из двух частей. Перв…
OTel Collector в кастомизации Битрикс24: подключаем Observability
Рассказываем про инструмент для наблюдения за кастомизациями Битрикс24 — телеметрическую инфраструктуру на базе OpenTelemetry Collector. Для проекто…
Простая аналитическая плафторма для 1С-ов и не только
Рассказываю о довольно простой, надежной и не дорогой архитектуре платформы данных, которую мы спроектировали и вывели в промышленную эксплуатацию.…