Движки таблиц ClickHouse
Система баз данных ClickHouse предоставляет изобилие разнообразных движков таблиц, из которых, однако, зачастую на практике разработчиками используе…
DevOps
⚑ Сообщить о проблемеПоследние новости DevOps от Tech News
Все темы
agents
ai
api
architecture
automation
aws
backend
beginners
cloud
database
devchallenge
devops
docker
javascript
kubernetes
llm
machinelearning
mcp
node
opensource
performance
productivity
programming
python
security
showdev
testing
tutorial
typescript
webdev
Букмекер видит вашу ставку через 10 секунд: что real-time-аналитика делает с данными пользователей
В беттинге данные о действиях нужны почти сразу — не через час и даже не через полчаса. В нашем случае — в течение 10–15 секунд. Иначе продукто…
Как использовать Neo4j в data engineering проекте: практический пример с Kafka, ClickHouse и Airflow
Когда говорят о Neo4j, чаще всего вспоминают social networks, fraud detection, recommendation systems или knowledge graphs. Но графовая база может б…
[Перевод] Компактация лога в Apache Kafka повреждала данные. Вот как мы это исправили
Компактация лога в Kafka может привести к ситуации, когда разные реплики одного топика начинают хранить разную версию данных — и расхождение сохраня…
Designing High-Throughput Event-Driven Microservices with Kafka and RabbitMQ
Introduction & Industry Context In the landscape of modern software architecture, event-driven microservices have transitioned from an advanced…
Microservices Event Pipelines: Outbox Pattern, CDC, and Idempotent Event Sourcing
In distributed microservice architectures, synchronizing database updates with downstream event streams is a notorious source of silent data drift.…
Kafka Partitions and Consumer Groups: How to Prevent Head-of-Line Blocking
Apache Kafka is celebrated for its incredible horizontal throughput, capable of streaming millions of messages per second. Yet, many engineering tea…
ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
Cloud Tracing — сервис распределённой трассировки в VK Cloud . Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отд…
ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
Cloud Tracing — сервис распределённой трассировки в VK Cloud . Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отд…
Integration Digest for September 2026
Articles 🔍 API Features as a First-Class Artifact with OpenAPI Overlays OpenAPI Overlay 1.1 documents model API features as separate, reviewable art…
Быстрые кешбэки для быстрых платежей: как работает платформа лояльности НСПК
Типичный кешбэк, как правило, приходит в конце расчётного периода. Иногда увидеть вознаграждение можно через несколько недель. Но есл…
Read Kafka Like a Database
Working with Kafka data on your own terms, using a local index. A search stack usually follows Kafka into a service. But the message you are looking…
2,404,811 answers on port 2181 and 1,381,208 on port 9092: the difference between a coordinator and a broker
2,404,811 answers on port 2181 and 1,381,208 on port 9092: the difference between a coordinator and a broker The counts Two ports associated with di…
Sidekiq to Kafka: A Mental-Model Map for Rails Developers
TL;DR: If you've spent years with Sidekiq, Kafka can look like "Sidekiq with extra steps". It isn't. Sidekiq moves jobs (commands to do something).…
One message we could not parse stopped four hours of dispatches
At twelve minutes past four on a Saturday morning, one partition of our shipments topic stopped moving. We found out at nine, when a depot rang to a…
От 6 часов до 20 минут: как мы ускорили коллаборативную модель в рекомендациях Авито
Привет, я Салават Динмухаметов, senior ML-engineer в команде рекомендаций Авито . В статье расскажу, как мы изменили систему рекомендаций на главной…
Retry policy на практике: подводные камни внедрения
Что делать, если произошла ошибка? Житейская мудрость говорит, что можно попробовать еще раз. В контексте разработки ПО существует известный и…
От сырых проверок качества данных до понятной картины в OpenMetadata
Ни для кого не секрет, что проверки качества — фундамент доверия к данным. Пока вы не знаете, насколько полны и корректны ваши данные, любые основан…
Queues, Webhooks and Rate Limits: Retries, Backlogs and Backoff You Can Watch Happen
"At-least-once delivery" is four words that hide a dozen production incidents. So are "consumer lag", "dead letter queue", and "exponential backoff"…
Stop Chasing Exactly-Once. Your Kafka Consumer Just Needs to Not Care
Every few months a team I talk to decides they need exactly-once delivery in Kafka. They read the docs, discover processing.guarantee=exactly_once_v…
How Apache SeaTunnel Handles Kafka Topic Partition Expansion Without a Job Restart
1. Scenario When using an Apache SeaTunnel streaming job to consume data from a Kafka topic, what happens if the topic is expanded from 2 partitions…
Очередь без серверов и головной боли: как устроен Serverless Queue в MWS Cloud Platform
Если вы хоть раз эксплуатировали Kafka, то знаете, сколько нервных клеток способен съесть её кластер. Поднять Kafka для PoC несложно, а вот дальше н…
The Inbox Transaction Boundary: Getting Event Processing Right in Spring Boot
The Inbox Transaction Boundary: Getting Event Processing Right in Spring Boot One of the hardest parts of building an event-driven system isn't gett…
Did You Know? Kafka Stores Your Messages on Disk 🤔
Most people assume that a high-performance messaging system like Kafka must be keeping everything in memory to stay fast. But here's the truth — eve…
Очередь на Postgres: почему Kafka не нужна
Это история про архитектуру одного сервиса. Рассказанная до конца, а не только до того места, где обычно останавливаются статьи про архитектуру. Нам…
A question on Discord found two bugs in my RAG system. Fixing them found a third.
Every test passed. The tests had the same blind spots as the code. A developer saw Ossian's MCP server in a community showcase and asked two questio…
Проблема переполнения Store: настройка самоочистки RocksDB в Kafka Streams
Одной из сильных сторон Kafka Streams является возможность хранить состояние приложения локально. По умолчанию в качестве локального хранилища испол…
Resilient Fintech Microservices: High-Throughput with .NET 10 and Apache Kafka
In the fintech sector, data integrity and system reliability are paramount. When managing sensitive operations such as credit products, loan disburs…
Consuming AWS MSK from Azure Databricks over mTLS
Most guides for connecting Spark to Amazon MSK assume the two live in the same cloud and authenticate with IAM. That covers a lot of cases. It does…
Хватит рисовать интеграции в Miro: я сделал архитектуру, которую можно прокликать
Перевод по СБП — это не одна стрелка между двумя сервисами, а лимиты, антифрод, идемпотентность, НСПК, Kafka и уведомления. Я попробовал собрать это…