RU

HTTP API для разработчика: практический гайд по проверке конфликтов при изменении одной сущности

Когда несколько клиентов работают с одной записью, проблема часто скрывается не в самом запросе, а в моменте между чтением…

APIHTTP APIREST APIконкурентные запросыгонки данныхблокировкитестирование ПОETagPostgreSQLавтоматизация тестирования
Habr
RU

Перезапустить недостаточно: как я сделал проверяемое автоматическое восстановление сервисов

restart-hook вернул 202, а сервис всё ещё не отвечает. Повторить запрос — рискнуть вторым перезапуском; закрыть инцидент — записать восстановление,…

self-hostedмониторингincident responseuptimeDevOpsPostgreSQLopen sourceавтоматическое восстановление
Habr
RU

Что изучить в начале осени: 34 открытых урока для тех, кто развивает карьеру в IT

Новые инструменты появляются быстрее, чем успеваешь их изучать: LLM, инфраструктура, фреймворки, подходы к разработке. Как выбрать то…

искусственный интеллектмашинное обучениеразработкапрограммированиеDevOpsbackendPostgreSQLLLMтестированиеаналитика
Habr
RU

Аналитика Jira без API: считаем Lead Time, CFD и метрики релизов прямо в SQL по базе Postgres

У Jira есть REST API, есть JQL, есть маркетплейс с дашбордами. Но как только метрики становятся чуть сложнее, чем «сколько задач закрыто за спринт»,…

GrafanaPostgreSQLJiraSQLаналитикаLead TimeCycle Timeметрики разработкидашбордыDORA
Хабр — Управление
RU

Аналитика без cookie: дневной HMAC вместо идентификатора посетителя

Внешний счётчик ставится за пять минут, и обычно этого достаточно. Но у модели «сторонний скрипт с чужого домена» есть технический потолок, и на маг…

cookieless-аналитикаfirst-party аналитикаHMACsendBeaconвеб-аналитикаNext.jsтрекинг без cookie152-ФЗPostgreSQLPrisma
Habr
RU

ora2pg переносит около 80% Oracle‑схемы. А что происходит с оставшимися 20%?

Работаю в конторе, которая обслуживает госзаказчиков, и последние месяцы у меня одна большая головная боль: перевод старой оракловой схемы…

OraclePostgreSQLora2pgмиграция баз данныхPostgres Proмиграция Oracleимпортозамещениестатический анализsql
Habr
RU

[Перевод] Статистика PostgreSQL: почему запросы выполняются медленно

Медленный запрос в PostgreSQL часто начинается с ошибки в оценках: планировщик ждёт сотню строк, получает тысячи и выбирает план, кот…

PostgreSQLпланировщик запросовстатистика PostgreSQLANALYZEpg_statisticpg_statspg_classселективностьоптимизация запросовEXPLAIN ANALYZE
Habr
RU

NVMe выдаёт 600 000 записей в секунду, а база коммитит 180

NVMe показывает сотни тысяч IOPS, а база упирается в пару сотен коммитов в секунду — знакомая ситуация, если ориентироваться на&…

NVMePostgreSQLSSDfsyncfdatasyncдисковый ввод-выводпроизводительность базы данныхгрупповой коммитфайловая системазадержка записи
Habr
RU

Оптимизация агрегатов PostgreSQL — что может расширение?

Агрегаты в PostgreSQL не очень-то эффективны. Это особенно заметно в сравнении с SQL Server в сценарии, где частичная агрегация не помогает: когда а…

prosupportPostgreSQLагрегатыпланировщик запросовоптимизация запросоврасширения PostgreSQLpg_dependSQL
Habr
RU

Что изучить в DevOps, Kubernetes, observability и сетях для работы с современной инфраструктурой

В инфраструктуре редко получается решить проблему в пределах одного инструмента: сбой в проде быстро выводит к настройкам Linux, сети, CI/CD, Kubern…

ИТ-инфраструктураCI CDlinuxdevopskubernetesбесплатные урокиобучающие подборкиgitlab ciнаблюдаемостьPostgreSQL
Habr
RU

База встала под нагрузкой: как найти, кто кого блокирует в PostgreSQL

CPU и диск свободны, а сервис уже задыхается: транзакции ждут блокировок, соединения заканчиваются, база перестаёт отвечать. Разберём, как&nbsp…

PostgreSQLблокировкитранзакциидедлокиpg_stat_activitypg_blocking_pidsidle in transactionLWLockпул соединенийвысокая нагрузка.
Habr
RU

Двойная бронь: как мы поймали гонку в записи и закрыли её EXCLUDE-констрейнтом

Я делаю сервис онлайн-записи для салонов красоты: клиент записывается в чат-боте или на странице, а запись падает в расписание мастера. Однажды маст…

PostgreSQLrace conditionдвойная броньEXCLUDE constraintbtree_gistadvisory lockSAVEPOINTtstzrangeцелостность данныхконкурентность
Habr
RU

Архитектура TMS на .NET: кластер, потоки координат и объектное хранилище

Это разбор архитектуры системы управления транспортом — без сроков, без смет и без сравнения технологий по галочкам. Только устройство: из чего сист…

архитектура.NETинтеграцияEIPKafkaRabbitMQRedisPostgreSQLкластерпартиционирование
Habr
RU

Почему мы разделили UI, бизнес-логику и ядро: архитектура платформы «Галактика Сверхновая»

Большинство корпоративных платформ, которые сегодня работают на крупных предприятиях, проектировались 15-20 лет назад. С тех пор сменились языки про…

ERPPythonRAGгенерация кодамиграция с SAPPostgreSQLотечественные ОСавтоматизацияlow-codellm
Habr
RU

[Перевод] Одна ошибка с индексами Postgres, из‑за которой растут WAL и нагрузка на запись

Если CREATE INDEX CONCURRENTLY или REINDEX INDEX CONCURRENTLY завершается с ошибкой, Postgres оставляет после себя невалидный индекс. Мног…

невалидные индексыPostgreSQLCREATE INDEX CONCURRENTLYVACUUMHOT-обновлениямиграции базы данныхблокировки PostgreSQLпроизводительность базы данных
Habr
RU

Разработчики знали код. Никто не знал систему

Мне поручили доработать высоконагруженную подсистему аудита. Документации было много, специалистов тоже, но никто не мог описать сист…

Системный анализвысоконагруженные системыаудит событийlegacy-системыанализ исходного кодаKafkaMongoDBPostgreSQLYDBархитектурное исследование
Habr
RU

Apache Iceberg: Индиана Джонс и Каталог судьбы

*.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы ил…

Apache Icebergкаталог данныхPolarislakehousedata engineeringPostgreSQLClickHouseTrinoDuckLakeобъектное хранилище.
Habr
RU

Django ORM ломается не там, где вы смотрели: шесть ошибок

Django ORM умеет долго скрывать проблемы: лишние запросы, гонки при save() , затянувшиеся транзакции и выборки, которые незаметно съедают памят…

Django ORMQuerySetоптимизация запросовPostgreSQLтранзакциииндексыN+1блокировкимассовые операциипроизводительность.
Habr
RU

Локальная RAG-система на Go, PostgreSQL и Ollama без облачных API

RAG уже стал стандартным способом научить LLM работать с собственными документами без дорогостоящего дообучения. Но за кажущейся простотой скрываетс…

RAGRetrieval-Augmented GenerationGogolangPostgreSQLOllamaэмбеддингивекторный поисклокальные моделиllm
Habr
RU

Как я склеиваю 23 тысячи событий из пяти афиш — и почему дедуп нельзя делать необратимым

Зашёл тут на карту и вижу странную картину. На Чистых прудах висят три пина ровно друг на друге. Тыкаю, а там один и тот же «Вишнёвый сад» в Ленкоме…

дедупликацияfuzzy matchingPostgreSQLPythonтранслитерациянечёткое сравнениеON CONFLICTобработка данных
Habr
RU

Ночной джоб, который сам нарезает партиции: cron, SQL-функция и сплиттер

Есть таблица GPS-точек. Транспорт шлёт координаты каждые несколько секунд, за сутки набегают миллионы строк, и таблица секционирована по времени. Зн…

redb.RouteQuartz.NETcronпланировщикпартиционированиеPostgreSQLApache CamelEIPSplittermisfire
Habr
RU

Как разобраться в Kubernetes, сетях, CI/CD и безопасности инфраструктуры

Когда инфраструктура начинает сбоить, причина редко остаётся в одном слое: за проблемой с деплоем тянутся пайплайны, контейнеры и секреты, а за дегр…

ит-инфраструктураKubernetesGitLab CIDevSecOpslinuxнаблюдаемостьPostgreSQLсетевая инфраструктураотказоустойчивостьподборка материалов
Habr
RU

Из 2,3 ТБ в 1,2 ТБ без потери учёта: как сворачивают большие базы 1С

Этот материал подготовил автор решения Database Compression Tool (DCT), представленного на Инфостарт Маркетплейс. Мы публикуем его от имени компании…

свёртка базы 1Сбольшие базы 1Соптимизация 1Садминистрирование 1Сбазы данныхMS SQL ServerPostgreSQLрегистры 1Спроизводительность 1С
Habr