Tarantool DataBase и Kafka: событийная архитектура без лишних слоев
Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase . При разработке разрозненных систем крайне важно обеспечи…
DevOps
⚑ Report a ProblemLatest DevOps news from Tech News
All topics
agents
ai
api
architecture
automation
aws
beginners
career
cloud
database
devchallenge
devops
docker
gemma
javascript
kubernetes
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
security
showdev
softwareengineering
tutorial
typescript
webdev
Tarantool DataBase и Kafka: событийная архитектура без лишних слоев
Привет, Хабр. Меня зовут Сергей Фомин. Я старший менеджер продукта Tarantool DataBase . При разработке разрозненных систем крайне важно обеспечи…
Kafka в проде: как встроенное сжатие спасло кластер, когда retention не успевал чистить диск
Привет, Хабр! Меня зовут Павел, я ведущий разработчик. В этой статье расскажу про Kafka, consumer groups, lag, offset commit и встроенное сжатие сообщ…
Real-Time Notification Systems Are Harder Than Most Teams Expect
If you’ve ever thought, “It’s just a WebSocket event,” this article is for you. Notification systems look simple on the surface, but in production the…
Dead Letter Queue в Kafka на практике
DLQ — это просто топик. Сложное — всё, что вокруг него. Эта статья — про практическую архитектуру обработки событий из Kafka с отправкой данных во вне…
Обзор «1С: Шины» и не только: 17 российских ESB спустя 100+ часов изучения
На связи Сергей Скирдин, технический директор ИТ-интегратора «Белый код». Два года я изучаю российский рынок шин данных. За это время удалось связатьс…
Apache Kafka Explained: A Practical Beginner Guide for Data Engineers
If you're learning data engineering, you'll probably meet Apache Kafka very early. You'll see it in job descriptions, system design diagrams, real-tim…
Повторная обработка сообщений в Kafka Consumer
Привет! Меня зовут Дмитрий Михеев, я ведущий разработчик в MAGNIT OMNI — бизнес-группе ритейлера «Магнит», которая отвечает за развитие омниканального…
klag just got a bunch better — here’s what’s new.
Over half year ago I’ve open sourced klag, a lightweight Kafka consumer lag exporter. I’ve been working in data streaming systems and data infrastruct…
Strimzi: Create a simple Mutual TLS (mTLS) authentication
You probably already know about Strimzi . Strimzi enables Kafka on Kubernetes , simple as that. So, in this post, I will not talk about Strimzi , but …
Kafka for Data Engineers: Core Concepts, KRaft, and the Patterns That Actually Work
If your Kafka Docker Compose still has a ZooKeeper service in it, your setup is already legacy. As of Kafka 4.0 (released March 2025), ZooKeeper is go…
Shifting from Databases to Kafka: How to Build an Indestructible Data Pipeline
When you start building an app, keeping your data consistent is easy. If a user changes something, your code updates the database, and you're done. Bu…
5 Things Kafka Practitioners Actually Said at Current 2026
We were at Current 2026 in London two weeks ago. Keynotes about agentic AI and streaming agents but conferences conversations were about something els…
62 бесплатных урока июня: Java, Docker, LLM, SRE, DWH и другие темы для роста в IT
Карьерный рост в IT редко упирается только в «выучить еще один инструмент». Чаще проблема в другом: понять, какие технологии уже стали рабочей практик…
Integration Digest for May 2026
Articles 🔍 Bucket4j + Infinispan: A Deep Dive Into Implementation A code-level walkthrough of running Bucket4j rate limiting on top of embedded Infini…
Динамические квоты и лимиты: как не завалить очередь в highload
Представьте: ваш сервис Y генерирует 10 000 событий в секунду, а сервис X может проглотить только 500. И при этом нельзя потерять ни одного события, а…
Apache Kafka End of Life: Kafka Versions EOL Every 4 Months — Are You Behind?
Apache Kafka's release cadence is fast. A new minor version ships roughly every four months. EOL dates arrive quickly — and because Kafka sits at the …
PostgreSQL и аналитика: что меняется, когда хранилище становится общим
HTAP — одна из главных тем в мире СУБД. Вокруг PostgreSQL массово появляются конструкции с внешними аналитическими движками со сво…
How to analyze the cost of Kafka?
Which side are you on: "This is just what Kafka costs at scale" or "We should switch to a cheaper Kafka provider"? At Conduktor , our field team works…
Building a Real-Time Kafka + Cassandra Pipeline
Introduction Apache Kafka and Apache Cassandra pair effectively because they complement each other's strengths: Kafka handles high throughput, real-ti…
A Beginners guide to Real-time Data Streaming with Apache Kafka
Introduction Ever wondered how banks are able to detect and stop fraud in real-time? This is how they do it. Banks process thousands of transactions e…
Resurrecting SARA: Building a Polished Web Control Center for an Automated AI Video Pipeline
This is a submission for the GitHub Finish-Up-A-Thon Challenge What I Built I built the SARA Pipeline Control Center —a web-driven graphical orchestra…
I kept improving my .NET order pipeline after a CTO left feedback. Here is where it ended up.
A few weeks ago I published an article about an event-driven order pipeline I built in .NET. A CTO named Andrew Tan left a comment pointing out that m…
Apache Kafka for Beginners: Building Real-Time Streaming Systems with Python
Apache Kafka is widely recognized as the go-to way system for real-time event streaming. Modern systems across banking, e-commerce, healthcare, gaming…
How Apache Kafka Powers Real-Time Data Pipelines
Most standard data pipelines run on a schedule. You use tools like Airflow and dbt to extract and transform large batches of API data once a day. Howe…
KubeCon Amsterdam 2026: The Industrialization of ML - A Deep Dive into Uber’s AI Platform Architecture.
This article serves as a technical follow-up to our KubeCon 2026 coverage, providing a comprehensive deep dive into the architecture and evolution of …
Kafka, таксономии и удаление событий: как исключить обработку неактуальных сообщений
В рамках задачи по обработке XBRL-таксономий возникло требование: если таксономия удалена до обработки событий расчёта кэша, эти события не должны при…
Optimizing the Edge: Advanced AV1 Implementation for Android TV in 2026
The 2026 Context: From "Testing" to "Triage" In my previous post, I discussed why AV1 is no longer optional for Fire TV Stick 4K Max users. But as we …
A Beginner’s Guide to Apache Kafka: The Engine of Real-Time Data
Introduction Imagine you are running a massive online store. Every second, hundreds of users are clicking items, adding them to carts and making purch…
Apache Kafka: как настроить тестирование сообщений в топиках
Привет, Хабр! Я SDET-инженер в SimbirSoft Александр, в этой статье я предлагаю вам: Рассмотреть основы Kafka, ее архитектуру и как она работает. • Выя…