RU

redb 3.3.0: решение уровня энтерпрайз на .NET — своя БД, свой Apache Camel и рантайм с дашбордом (и всё это бесплатно)

Когда говорят «энтерпрайз-стек на .NET», обычно имеют в виду зоопарк: база от одного вендора, шина от другого, ORM с миграциями, отдельный оркестратор…

c#sqlitedotnetkafkarabbitmqredbsqstelegram
Habr
RU

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не про …

computer visionmultimodalyoloresnetvlmcnntriton-inference-serverhuman-in-the-loopkafkaритейл
Habr
RU

[Перевод] Как Reddit без потерь перенес петабайтную Kafka с EC2 на Kubernetes

Миграция — риск даже для небольших инфраструктур. А когда у вас больше миллиарда пользователей и петабайт данных, права на ошибку нет вообще. Но выход…

kafkaмиграцияstrimziredditkraftkubernetesec2zookeeperрепликация
Habr
RU

Почему остатки на маркетплейсах разъезжаются, и почему Kafka вам, скорее всего не нужна?

Если вы продаёте на двух и более маркетплейсах, вы почти наверняка с этим сталкивались: товар продан на Ozon, но на Wildberries он ещё висит в наличии…

маркетплейсыwildberriesozon1cevent-drivencdckafkagopostgresqlсинхронизация остатков
Habr
RU

Kafka Consumer в тестовой автоматизации: архитектурный разбор

Привет, Хабр! На связи Егор Лаптев — QA Fullstack Java в SENSE на проекте крупного российского банка. End-to-end тесты UI проверяют только то, что вид…

kafkakafka consumerkafka в тестированииqa automationsaslасинхронное тестированиеai-агентыallureconsumer groupраспределенные системы
Habr
RU

Как мы ушли от ETL к CDC: выбираем архитектуру real-time аналитики на PostgreSQL, Kafka и ClickHouse. Часть 1

Все началось с просьбы сделать отчеты в реальном времени. На первый взгляд задача выглядела простой, но довольно быстро выяснилось, что существующая а…

postgresqlclickhousekafkadebeziumcdckubernetesetlreal-time аналитикаkafka connectdevops
Habr
RU

Реалтайм-аналитика «без боли»: миграция из PostgreSQL и Kafka в ClickHouse и визуализация в Superset

Когда у вас появляется продукт с активными процессами и большим количеством пользователей, объём данных начинает расти быстрее, чем ожидалось. На стар…

clickhousekafkapostgresqlsupersetpeerdbkafkaconnectmagnit techмагнитвизуализация данных
Habr
RU

От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев

Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не про …

computer visionmultimodalyoloresnetvlmcnntriton-inference-serverhuman-in-the-loopkafkaритейл
Habr
RU

Что спросить у вендора ESB, если вы подбираете интеграционную шину

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Последние два года я изучаю российский рынок ESB и интеграционных платформ, …

шины данныхопросный листинтеграцииконнектормониторингпроизводительностьESBинтеграционные платформыkafkaopen source
Habr
RU

Tarantool DataBase и Kafka: событийная архитектура без лишних слоев

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase .  При разработке разрозненных систем крайне важно обеспечи…

Tarantoolархитектураотказоустойчивостьcdckafkaevent-drivenreal-timeинтеграциярепликация данныхvk tech
Habr
RU

Tarantool DataBase и Kafka: событийная архитектура без лишних слоев

Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase .  При разработке разрозненных систем крайне важно обеспечи…

Tarantoolархитектураотказоустойчивостьcdckafkaevent-drivenreal-timeинтеграциярепликация данныхvk tech
Habr
RU

Kafka в проде: как встроенное сжатие спасло кластер, когда retention не успевал чистить диск

Привет, Хабр! Меня зовут Павел, я ведущий разработчик. В этой статье расскажу про Kafka, consumer groups, lag, offset commit и встроенное сжатие сообщ…

kafkacsharp.net.net coreconsumer groupretentioncompressionbackenddistributed systems
Habr
RU

Обзор «1С: Шины» и не только: 17 российских ESB спустя 100+ часов изучения

На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Два года я изучаю российский рынок шин данных. За это время удалось связатьс…

esbшина данныхинтеграционные платформыdatareon1с шинакорпоративная шина данныхмикросервисная архитектураkafkaopen source
Habr
RU

Повторная обработка сообщений в Kafka Consumer

Привет! Меня зовут Дмитрий Михеев, я ведущий разработчик в MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает за развитие омниканального…

kafkaapache-kafkakafka-consumerretryповторная-обработкаидемпотентностьвысоконагруженные-системыjava
Habr
RU

62 бесплатных урока июня: Java, Docker, LLM, SRE, DWH и другие темы для роста в IT

Карьерный рост в IT редко упирается только в «выучить еще один инструмент». Чаще проблема в другом: понять, какие технологии уже стали рабочей практик…

DockerKubernetesLLMJavakafkadevopsмикросервисыбесплатные урокипрофессиональное развитиеSRE
Habr
RU

Динамические квоты и лимиты: как не завалить очередь в highload

Представьте: ваш сервис Y генерирует 10 000 событий в секунду, а сервис X может проглотить только 500. И при этом нельзя потерять ни одного события, а…

highloadочереди сообщенийkafkabackpressureдинамические квотысистемный анализархитектура highload
Habr
RU

Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений

В рамках задачи по обработке XBRL-таксономий возникло требование: если таксономия удалена до обработки событий расчёта кэша, эти события не должны при…

kafkaspring bootSpring Kafkajavaмикросервисыtombstone objectsCompacted topiclog compactionconsumerидемпотентность
Habr
RU

ClickHouse для больших данных: полный гайд по интеграции с NoSQL‑экосистемой

Когда классические SQL‑базы падают под аналитической нагрузкой, а Hadoop‑кластер напоминает чемодан без ручки — пора искать новое …

clickhousenosqlbig dataаналитика данныхkafkaolapархитектура данных
Habr
RU

Автоматизация тестирования на Go: стратегия и реализация с нуля

В микросервисной архитектуре ошибка — это не просто баг в отдельном сервисе. Это сорванный релиз, нестабильные интеграции, потерянные заказы и ча…

golangkafkamockpostgresqlавтоматизация тестирования
Habr
RU

Обзор Агредатор

На связи Сергей Скирдин, технический директор компании «Белый код». Поставил себе цель — сделать обзоры на шины данных из реестра отечественного ПО. С…

шина данныхкорпоративная шина данныхинтеграционная платформаконнекторыesbenterprise service busrabbitmqkafkaruby
Habr