RU

Ваш PostgreSQL болеет молча. Десяток запросов, чтобы это увидеть

Пятница, вечер. Один эндпоинт начал отвечать восемь секунд вместо двухсот миллисекунд, а в Grafana всё зелёное. PostgreSQL редко падает громко — он не…

postgresqlпроизводительностьidesqlиндексыvacuumbloatтранзакциитяжелые запросы
Habr
RU

Медленные запросы в Impala: как анализировать profile и не выносить SQL наружу

Когда Impala-запрос начинает выполняться заметно дольше обычного, первое место, куда обычно идут смотреть, — query profile. Там есть план выполнения, …

impalaapache impalaclouderacloudera managerhadoopsqlquery optimizationdata engineeringobservabilitybigdata
Habr
RU

Последовательное иерархическое распределение сумм. Создание БД. Распределение сумм по правилам средствами PostgreSQL

В первой статье была описана задача распределения сумм затрат между отделами по заданным правилам, с учётом того что отделы могут передавать свои затр…

аллокацииаллокацияsqlpgsqlpostgresqlpostgresql performance
Habr
RU

Полиморфные ссылки в PostgreSQL: три попытки помочь оптимизатору

Недавно я опубликовал статью о полиморфных ссылках в реляционных базах — болезненном для производительности паттерне с дискриминированным внешним ключ…

postgresqlrelational databaseperformance optimization1cpatternssqlorm
Habr
RU

Версионирование таблиц репозитория метаданных Sigla Vision

Продолжаем серию публикаций «Адаптивное администрирование Sigla Vision» .   В предыдущей статье мы изложили основную концепцию построения об…

Системное администрированиевизуализация данныхsqlанализ и проектирование системBusiness IntelligenceFineBISigla Visionдашбордыбизнес-аналитикаPostgreSQL
Habr
RU

Некорпоративный Хабр: семантический поиск и фильтрация по структурированным полям

Классический RAG индексирует исходный текст документа, предварительно разбивая на фрагменты. Потом рассчитывает векторное представление фрагментов и с…

семантический поискструктурирование инфомациилокальный поиск по документамэмбеддингиduckdb wasmwllamallm-приложенияsqlragllm
Habr
RU

Основы тестирования и правила, которые помогают надёжно тестировать сложные приложения: примеры на Python

За годы работы разработчиком я сталкивался с разными подходами к тестированию. В этой статье я хочу показать, какие практики кажутся мне неэффект…

pythonpytestsqltestingtest driven development
Habr
RU

FSRS-плагин для Obsidian: SQL-подобные запросы к карточкам, Rust/WASM

Инструмент интервального повторения заметок Obsidian должен использовать современный алгоритм, работать локально с заметками как есть (без переписыван…

obsidianFSRSrustwebassemblyинтервальное повторениеtypescriptsqlspaced repetition
Habr
RU

Архитектура автоматической трансформации данных JSON и XML любой структуры унифицированным способом

В современном IT ландшафте широко используютя  форматы представления данных JSON и XML, используемые в качестве своеобразного "общего языка", lin…

xmljsonapinosqlsqlбазы данныхалгоритмыархитектураавтоматизация
Habr
RU

Инфраструктура для изучения основ машинного обучения на локальном компьютере с помощью Apache Spark

Первой задачей будет следующая. Предположим, откуда-то получаются файлы нескольких типов. Один из получаемых типов будет вызывать увеличение загрузки …

apache sparkmachine learningmachine-learningpostgresqlsql
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Код как документация: как мы строим самодокументируемые витрины данных в Почте Mail

В аналитике больших данных есть старая проблема: код ETL-витрин живет своей жизнью, а документация — своей. Изменяешь логику, забываешь обновить описа…

big dataapache sparkairflowclickhousesqlдокументацияdwhmetadatadbtvk tech
Habr
RU

Почему российский бизнес проигрывает битву за информацию и как это исправить. Часть 2

Представьте себе классическую ситуацию: финансовый директор смотрит на два отчета по выручке за прошлый год. Один отчет, построенный в старой системе,…

качество данныхscdslowly changing dimensionsтемпоральностьмиграция данныхsapимпортозамещениеetlsqlсистемный анализ
Habr
RU

Миграция с Greenplum. Эпизод I: Атака клонов и спасение на звёздных камнях

В мае 2024 года Broadcom заархивировал публичный репозиторий Greenplum: последний коммит остался на месте, дальнейшая разработка ушла в закрытый репоз…

starrocksLakehousegreenplumsqlмиграция данныхсубдmppdwholapetl
Habr
RU

Рецензия на книгу «SQL. Курс молодого бойца» — учебник, который превращает SQL в рабочий инструмент

Книги по SQL — стабильные бестселлеры в мире компьютерной литературы. Они нужны начинающим аналитикам, бэкэнд-разработчикам, тестировщикам, инженерам …

sqlsql tips and tricksкнига по SQLизучение SQLSQL работа
Habr