Как я написал свой мигратор для ClickHouse — и почему он до сих пор жив
В 2020-м мне понадобилось версионировать схему ClickHouse в CI/CD, а готового инструмента под Go с поддержкой ClickHouse не нашлось ни одного. Пришл…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- космос
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- на острие науки
- процессоры
LLM
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
тестирование
управление проектами
От struct к компиляции под схему: ускоряем RowBinary-декодер на Python
Я автор aiochlite — асинхронного клиента ClickHouse на aiohttp . Раньше мой декодер RowBinary читал каждое числовое поле отдельно. Если брать 200 ты…
Стоковый ClickHouse занял 12 ГБ диска при 543 КБ данных: сколько на самом деле ест self-hosted observability
Полный self-hosted стек observability (Go-приложение + PostgreSQL + ClickHouse) живёт на VPS с 2 ядрами и 2 ГБ RAM. Но сначала стоковый ClickHouse з…
Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store
Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…
От 12 часов к 30 минутам: как мы join’им миллиарды товарных движений в ClickHouse
Всем привет! Меня зовут Муса. Наша команда занимается витринами данных по товарному учёту. Каждый день мы доставляем около 10 млрд записей…
[Перевод] Предел PostgreSQL: как кеш AI-тестов вырос до миллиарда записей и переехал на ClickHouse
От проблем PostgreSQL к скорости ClickHouse. Рассказываем, как переработали архитектуру кеширования для AI-тестов, чтобы выполнять более 2 млн запро…
Apache Iceberg: Индиана Джонс и Каталог судьбы
parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы или…
Observability в одном Go-бинарнике: как я собрал self-hosted без Kafka и Redis
Официальный self-hosted-вариант знакомого observability-стека — это под два десятка контейнеров: брокер, воркеры, кэш, отдельное аналитическое храни…
ClickHouse: сценарии, сильные стороны, лучшие практики работы в 2026 году
ClickHouse — один из самых востребованных инструментов для хранения и анализа больших объемов данных, обеспечивающий высокую производительность и на…
ClickHouse: сценарии, сильные стороны, лучшие практики работы в 2026 году
ClickHouse — один из самых востребованных инструментов для хранения и анализа больших объемов данных, обеспечивающий высокую производительность и на…
Пока все хоронили пайплайны, ClickHouse достраивал слои
«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse по…
Databricks обещал конец баз данных. Читаем мелкий шрифт
Пару дней назад я собрал сводку новостей по lakehouse и закончил её обещанием: разберу каждый громкий анонс по отдельности. Выполняю - и начинаю с с…
Шесть недель с agentic AI против фрода в adversarial-системе
Я слишком рано понёс первые результаты в наш продукт. Тогда это выглядело логично: мы прикрутили агентный ИИ к анализу логов и поведения пользовател…
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…
Реалтайм-аналитика «без боли»: миграция из PostgreSQL и Kafka в ClickHouse и визуализация в Superset
Когда у вас появляется продукт с активными процессами и большим количеством пользователей, объём данных начинает расти быстрее, чем ожидалось. На ст…
Технический и продуктовый мониторинг за кастомизациями Битрикс24: как настроить и на что смотреть
Рассказываем и показываем, как можно использовать мониторинг за кастомизациями Битрикс24. Для работы используем телеметрическую инфраструктуру на ба…
Внедрение SQLMesh в команду аналитики
Каждая команда аналитики рано или поздно сталкивается с одной и той же проблемой: SQL-скрипты начинают жить своей жизнью, lineage оказывается неполн…
Как мы собрали систему сетевого мониторинга безопасности для ISP: Zeek, Suricata, OpenSearch и ClickHouse
Мы построили собственную систему мониторинга сетевой безопасности для интернет-провайдера. Она в реальном времени анализирует трафик, помогает видет…
Как мы ускорили сбор аудиторий в 45 раз: с 6 минут до нескольких секунд
К маю 2026 года средний сбор аудитории в нашей системе занимал 2 часа 50 минут. Проблема состояла из двух частей. Перв…
OTel Collector в кастомизации Битрикс24: подключаем Observability
Рассказываем про инструмент для наблюдения за кастомизациями Битрикс24 — телеметрическую инфраструктуру на базе OpenTelemetry Collector. Для проекто…
Простая аналитическая плафторма для 1С-ов и не только
Рассказываю о довольно простой, надежной и не дорогой архитектуре платформы данных, которую мы спроектировали и вывели в промышленную эксплуатацию.…
PostgreSQL и аналитика: что меняется, когда хранилище становится общим
HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со с…
ClickHouse не тормозит, но не умеет в DML. Часть 2. Append-only
Append-only — целебная пилюля для ClickHouse, без которой он скорее обуза, нежели буст для бизнеса. Разберем что это, и как этим пользоваться. Читат…
DWH в 2026: четыре зоны вместо Inmon, Kimball и Data Vault 2.0
Когда инженер слышит «нам нужно хранилище данных», задача редко звучит однозначно. Кто-то задыхается на боевой OLTP-базе под аналитической нагрузкой…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail
В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить опи…
ClickHouse не тормозит, но не умеет в DML. Часть 1. Мутации
Нет, клик не превратится в этого монстра. В него превратитесь вы, если не будете знать того, о чем эта статья. Читать далее
ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой
Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать ново…