Движки таблиц ClickHouse
Система баз данных ClickHouse предоставляет изобилие разнообразных движков таблиц, из которых, однако, зачастую на практике разработчиками используе…
DevOps
⚑ Report a ProblemLatest DevOps news from Tech News
All topics
agents
ai
api
architecture
automation
aws
backend
beginners
cloud
database
devchallenge
devops
docker
javascript
kubernetes
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
testing
tutorial
typescript
webdev
Быстрые кешбэки для быстрых платежей: как работает платформа лояльности НСПК
Типичный кешбэк, как правило, приходит в конце расчётного периода. Иногда увидеть вознаграждение можно через несколько недель. Но есл…
Greenplum как расширение PostgreSQL 19
С 2017 года я слежу за экосистемой вокруг PostgreSQL для выполнения аналитических запросов и использования ее в качестве хранилища данных. И раньше…
DBA Agent в действии: 10 тысяч тикетов и 99,6% автоматизации второй линии поддержки
Привет, Хабр! Это четвёртая статья цикла про R&D‑исследование для небольшой команды DBA. Мы начали с того, что решили упрост…
Практический GitHub Actions: полноценный CI/CD для FastAPI + PostgreSQL
В этой статье будет разбираться написание GitHub Actions пайплайна на основе моего стенда cicd-practice на GitHub (подробно все можно посмотреть там…
Как я сделал Telegram‑бота для управления Linux‑серверами через SSH
Иногда мне нужно быстро проверить свой VPS: посмотреть нагрузку, глянуть логи или перезапустить сервис. Каждый раз открывать ноутбук и под…
redb 4.0: XML-маршруты, ленивые ссылки, уникальные ключи и WS-Trust в одном мажоре
Мажор всей экосистемы: что появилось в redb.Core, redb.Route, redb.Tsak и redb.Identity , что закрыто по безопасности и что ломает обновление. Много…
Два года, один человек, 66 контейнеров: как я построил AI‑платформу на железе под столом
Привет, Хабр. 26 августа 2024 года я получил у BotFather первый токен и написал кривой телеграм‑бот с одной моделью — обычн…
Kafka Connect без магии: как переносить данные и не писать еще один сервис
Привет, бойцы , вы готовы победить перенос данных? Есть задача: перенести данные из PostgreSQL в Kafka. Первая мысль: написать небольшой сервис. Он…
Каскад из одной аварии: как схлопнуть шторм алертов в одну карточку инцидента
Падает один шлюз - и дежурному прилетает пачка уведомлений: молчат хосты за ним, гаснет uptime-монитор, срабатывают метрические пороги, горит SLO. С…
Как я писал сервер и нечаянно пробил 1М RPS
История об асинхронном серверном EAV‑движке, epoll'е, битовых полях и шардинге, который не смог. Это должен был быть очередной в…
PostgreSQL Recovery на пальцах: WAL, base_backup и PITR в Docker-compose
В этой статье будет разбираться резервное копирование и восстановление PostgreSQL. Покажу все на небольшом практическом docker-compose стенде. Я спе…
Как я написал свой мигратор для ClickHouse — и почему он до сих пор жив
В 2020-м мне понадобилось версионировать схему ClickHouse в CI/CD, а готового инструмента под Go с поддержкой ClickHouse не нашлось ни одного. Пришл…
River OSS и Kafka: почему transactional outbox не гарантирует порядок событий агрегата
Меня зовут Василий Миловидов, я системный архитектор в крупной компании. Мы строим обмен между сервисами на событиях: сервис меняет агрега…
Стоковый ClickHouse занял 12 ГБ диска при 543 КБ данных: сколько на самом деле ест self-hosted observability
Полный self-hosted стек observability (Go-приложение + PostgreSQL + ClickHouse) живёт на VPS с 2 ядрами и 2 ГБ RAM. Но сначала стоковый ClickHouse з…
Как уронить базу данных
Так получилось, что пару десятилетий занимался в тои числе и базами данных. Ставил. Тюнил. Выносил логику В базу. Вынос иллогику ИЗ базы. Поднимал к…
Dasha — дашборд PostgreSQL
Dasha - opensource дашборд производительности PostgreSQL. Читает состояние кластеров из системных представлений, без агентов на хостах; поддерживает…
Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC
Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при…
Дело о зависшем пуле: @Transactional, connection leak и deadlock в Spring Boot. Production-нуар
Приложение было живо. Health check зелёный, CPU холодный, логи чистые. Но ни один запрос не возвращался. Детективная история о том, как пять соедине…
Овцеводческая CRM, Узбекистан и .NET 10: семь инженерных историй с граблями
Мы делаем QoyHunter — учётную систему для овцеводческих хозяйств Узбекистана, с витриной животных, доставкой и блогом на соседних поддоменах. С точк…
Пока все хоронили пайплайны, ClickHouse достраивал слои
«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse по…
ASOC from scrap. Как реализовать автоматизацию DevSecOps контролей за несколько вечеров, используя OpenSource и LLM
Привет, Хабр! Сегодня я хочу поделиться своим опытом разработки ASOC платформы. В статье я расскажу о преимуществах такого решения, затем…
Почему остатки на маркетплейсах разъезжаются, и почему Kafka вам, скорее всего не нужна?
Если вы продаёте на двух и более маркетплейсах, вы почти наверняка с этим сталкивались: товар продан на Ozon, но на Wildberries он ещё висит в налич…
Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1
Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая…
Как настроить глубокий и понятный мониторинг для PostgreSQL с ИИ на основе Prometheus, TaskTracker и Pipeliner
Представьте парк из более чем 700 экземпляров СУБД. Классический сценарий: приходит оповещение о высокой нагрузке, администратор начинает вручную со…
Реалтайм-аналитика «без боли»: миграция из PostgreSQL и Kafka в ClickHouse и визуализация в Superset
Когда у вас появляется продукт с активными процессами и большим количеством пользователей, объём данных начинает расти быстрее, чем ожидалось. На ст…
Как превратить один VPS в платформу для деплоя нескольких проектов без боли и Kubernetes
Как держать несколько проектов на одном VPS так, чтобы каждый работал на своём домене с HTTPS, а все порты были закрыты снаружи — без Kubernetes и р…
Как желание написать простой CRUD привело к созданию целой видеоплатформы
От CRUD на FastAPI до видеоплатформы: история одного pet-проекта: История о том, как учебный CRUD-проект на FastAPI постепенно превратился в стенд с…
Я не хотел писать ORM для Kotlin/Native. Мне просто нужен был PostgreSQL
Всё началось с архитектурного тупика. Я занимался бэкенд-частью low-code платформы, на базе которой автоматизировались внутренние процессы крупных к…
Чтобы ваши тесты работали быстрее, нужен простой советский… xdist. Я измерил. Часть 2
В первой части я ускорил большой интеграционный pytest-сьют с получаса до полутора минут за счёт инфраструктурных правок. Во второй проверяю следующ…