RU

SQL, NoSQL, NewSQL, Distributed SQL: как читать архитектуру СУБД

Для человека, впервые погружающегося в историю систем управления базами данных, последовательность SQL → NoSQL → NewSQL выглядит как диалектическая…

базы данныхnosqlnewsqldistributed systemsретроспективаистория itcockroachdbраспределенные системыdba
Habr
RU

Когда VPS уже недостаточно: зачем нужен выделенный сервер

VPS подходит для множества задач: на нём можно разместить сайт, запустить приложение, настроить тестовую среду или базу данных. Но со временем ресур…

ruvds_статьиbaremetalвыделенный серверvpsхостингвиртуализациясерверыбазы данныхIT-инфраструктура
Habr
RU

Книга: «Высоконагруженные приложения. Программирование, масштабирование, поддержка. 2-е изд»

Привет, Хаброжители! Сегодня данные играют главенствующую роль в проектировании систем, и нужно обеспечить их масштабируемость, согласованность, над…

базы данныхраспределенные системыdata engineeringалгоритмыоблачные сервисыбэкендхранилища данныхвысоконагруженные системы
Habr
RU

Зачем я добавил Go-сервис туда, где его не просили

Недавно мне дали тестовое задание на проектирование интеграции между 1С и Yandex 360. На первый взгляд задача выглядела достаточно прямолинейно: 1С…

архитектураGoмикросервисыинтеграцияAPI1СYandex 360базы данныхочередиbackend
Habr
RU

OLAP OVER HTTP: как отдавать большие аналитические данные через API и не положить сервис

Каждый день в 18:00 клиентам становится доступна отчётность по продажам, и многие одновременно нажимают кнопку «Загрузить отчёт». Это может быть дет…

clickhousehighloadоптимизацияperfomancedatabaseolapвысоконагруженные системыбазы данныхнагрузочное тестированиеozon tech
Habr
RU

Почему сверхбыстрый COMMIT опасен для СУБД и как проверить надёжность сохранения данных

Считается, что если fsync включён в конфиге — данные в безопасности. На практике это не гарантия, а всего лишь надежда: вызов может быть проигнориро…

базы данныхбаза данных1сfsyncfdatasyncсубд
Habr
RU

23 урока для тех, кто отвечает за бэкенд: архитектура, производительность и надёжность сервисов

По мере роста продукта backend-системы требуют всё больше инженерных решений: появляются новые сервисы, растёт нагрузка, усложняется работа с данным…

backend-разработкамикросервисыбазы данныхархитектура приложенийSQLspring bootвысокие нагрузкипроизводительностьбесплатные урокипрофессиональное развитие
Habr
RU

Мы написали автономного агента для VACUUM/ANALYZE и запустили на 800+ тестовых БД: что из этого вышло

Как упростить управление целым парком из 800+ экземпляров СУБД на базе PostgreSQL? Можно доработать postgres_exporter, чтобы настроит…

сбертехpostgesqlбазы данныхмониторингии-агентыplatform vpangolin
Habr
RU

Как устроена платформа данных АстраЗенека в России: BI, DWH и Data Lake в одном контуре

Как устроена платформа данных АстраЗенека в России: BI, DWH и Data Lake в одном контуре Бизнес приходит с запросами разной природы. Одному нужна циф…

databianalyticsdata lakedata engineeringбазы данныхданные как продуктхранилище данныхбизнес анализаналитические системы
Habr
RU

29 копий одного документа на проде — как удалить лишние и не потерять нужную

Обычный день, любимый сервис и рандомная проверка: делюсь своим рабочим кейсом. Как из обычной проверки сервиса, который работал без замечаний, выро…

системный анализбизнес-анализsqlбазы данныхдедупликацияочистка данныхпограничные сценариирезервное копирование
Habr
RU

Бэкенд без лишних граблей: 13 статей о PostgreSQL, микросервисах и коде

Что общего у раздувшегося индекса, неудачно нарезанных микросервисов и лишнего std::move ? Все они выглядят безобидно, пока не доходят до продакшена…

бэкенд-разработкапроектирование системPostgreSQLбазы данныхмикросервисная архитектураC++Javaоптимизация производительности
Habr
RU

Данные построчно правильные, а итог неверный: ошибки JOIN и гранулярности в аналитике

Ошибки в аналитических витринах часто скрываются за корректным числом строк и успешно выполненным SQL‑запросом. Разберём, как неправи…

SQLбазы данныханалитика данныхJOINPostgreSQLвитрины данныхкачество данныхETLDWHData Warehouse
Habr
RU

Нужна ли вашей распределённой СУБД византийская отказоустойчивость?

Когда инженер проектирует распределённую систему, возникает естественное желание обеспечить сложную и хрупкую архитектуру максимально сильными гаран…

cftbftvalkeyретроспективараспределенные системыбазы данныхсубдкворумрепликацияконсенсус
Habr
RU

Новый стек, новые задачи, новые навыки: 42 бесплатных урока сентября

В этом дайджесте собрали 42 бесплатных урока второй половины сентября по ключевым направлениям ИТ: от искусственного интеллекта и LLM до backend-раз…

обучение ITразвитие навыковпрограммированиеразработка ПОискусственный интеллектDevOpsтестированиеаналитикабазы данныхкарьерное развитие
Habr
RU

ТОП-100 MCP-серверов: лучшие инструменты для ИИ, агентов и автоматизации (3.1 млн звезд на GitHub)

MCP-сервер - это по переходник между ИИ и внешним сервисом. Например, один MCP читает файлы на ПК, другой - программирует, третий - ищет инфу в инте…

MCPModel Context ProtocolMCP-серверыИИ-агентыLLMOpen SourceавтоматизацияRAGбазы данныхинструменты для ИИ
Habr
RU

Как мы разрешили чтение с реплик PostgreSQL — и почему шесть лет говорили «нет»

Меня зовут Кирилл Манин , я почти шесть лет работаю в команде SQL DBA и занимаюсь развитием платформы баз данных Авито . Почти всё это время к нам р…

postgresqlрепликацияDBAбазы данныхPgBouncerотказоустойчивостьмасштабированиевысоконагруженные системы
Habr
RU

Миллионы товаров и миллисекунды: как устроен специализированный движок каталога

Что происходит, если строить каталог на миллионах товаров не вокруг PostgreSQL и Elasticsearch, а вокруг mmap, собственных индексов и zero-allocatio…

Gommapбазы данныхиндексыпроизводительностьвысоконагруженные системыJSON
Habr
RU

Как не получить лгущий дашборд: 7 ошибок в SQL‑агрегациях

SQL-запрос выполнился без ошибок, дашборд обновился, цифры выглядят правдоподобно — и всё же выручка внезапно выросла на треть. Причина может скрыва…

аналитика данныхагрегацииSQLбазы данныхкачество данныхошибки в данныххранилища данныхзапросы SQL
Habr
RU

Одна таблица результатов на 14 движков: как мы перестали дорисовывать то, чего движок не умеет

Сразу оговорюсь: я из команды LibreDB Studio, и статья — про наши собственные грабли. LibreDB Studio — это self-hosted IDE для СУБД, работающая в бр…

базы данныхSQLNoSQLIDEself-hostedopen sourcePostgreSQLCassandraTrinoLibreDB
Habr
RU

Транспортная аналитика в реальном времени: интерактивные карты в дашбордах

Современные интерактивные веб-карты – это больше, чем привычные бумажные географические атласы. Это инструменты, позволяющие выявлять тенденции, зак…

визуализация данныхтранспортгеоинформационные сервисывеб-разработкабазы данныхbig datavisiology
Habr
RU

PostgreSQL в проде: блокировки, bloat и ночные пересчёты. Три инцидента и как их чинили

В прошлой статье я рассказывал, как мы перевозили терабайт банковской базы с Oracle на PostgreSQL без даунтайма. Там был раздел про производительнос…

PostgreSQLбазы данныхСУБДблокировкиdeadlockMVCCbloatтранзакциииндексыпроизводительность
Habr
RU

Как ускорить выборку из больших таблиц PostgreSQL без ручного создания индексов: разбираем iHeap

Что, если индекс не нужно создавать вообще? Знакомимся с iHeap — альтернативным методом доступа к таблицам PostgreSQL, где BRIN-индексирование встро…

iHeappostgres proбазы данныхpostgresqlpostgresиндексированиеиндексирование данныхheap
Habr