Движки таблиц ClickHouse
Система баз данных ClickHouse предоставляет изобилие разнообразных движков таблиц, из которых, однако, зачастую на практике разработчиками используе…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- модули ОЗУ, карты памяти, флеш-накопители, кардридеры
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
Букмекер видит вашу ставку через 10 секунд: что real-time-аналитика делает с данными пользователей
В беттинге данные о действиях нужны почти сразу — не через час и даже не через полчаса. В нашем случае — в течение 10–15 секунд. Иначе продукто…
Как использовать Neo4j в data engineering проекте: практический пример с Kafka, ClickHouse и Airflow
Когда говорят о Neo4j, чаще всего вспоминают social networks, fraud detection, recommendation systems или knowledge graphs. Но графовая база может б…
[Перевод] Компактация лога в Apache Kafka повреждала данные. Вот как мы это исправили
Компактация лога в Kafka может привести к ситуации, когда разные реплики одного топика начинают хранить разную версию данных — и расхождение сохраня…
ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
Cloud Tracing — сервис распределённой трассировки в VK Cloud . Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отд…
ClickHouse под трейсы: почему шесть бэкендов Jaeger оказались выбором из двух
Cloud Tracing — сервис распределённой трассировки в VK Cloud . Приложения отправляют в него спаны по протоколу OpenTelemetry, сервис хранит их и отд…
Быстрые кешбэки для быстрых платежей: как работает платформа лояльности НСПК
Типичный кешбэк, как правило, приходит в конце расчётного периода. Иногда увидеть вознаграждение можно через несколько недель. Но есл…
От 6 часов до 20 минут: как мы ускорили коллаборативную модель в рекомендациях Авито
Привет, я Салават Динмухаметов, senior ML-engineer в команде рекомендаций Авито . В статье расскажу, как мы изменили систему рекомендаций на главной…
Retry policy на практике: подводные камни внедрения
Что делать, если произошла ошибка? Житейская мудрость говорит, что можно попробовать еще раз. В контексте разработки ПО существует известный и…
От сырых проверок качества данных до понятной картины в OpenMetadata
Ни для кого не секрет, что проверки качества — фундамент доверия к данным. Пока вы не знаете, насколько полны и корректны ваши данные, любые основан…
Очередь без серверов и головной боли: как устроен Serverless Queue в MWS Cloud Platform
Если вы хоть раз эксплуатировали Kafka, то знаете, сколько нервных клеток способен съесть её кластер. Поднять Kafka для PoC несложно, а вот дальше н…
Очередь на Postgres: почему Kafka не нужна
Это история про архитектуру одного сервиса. Рассказанная до конца, а не только до того места, где обычно останавливаются статьи про архитектуру. Нам…
Проблема переполнения Store: настройка самоочистки RocksDB в Kafka Streams
Одной из сильных сторон Kafka Streams является возможность хранить состояние приложения локально. По умолчанию в качестве локального хранилища испол…
Хватит рисовать интеграции в Miro: я сделал архитектуру, которую можно прокликать
Перевод по СБП — это не одна стрелка между двумя сервисами, а лимиты, антифрод, идемпотентность, НСПК, Kafka и уведомления. Я попробовал собрать это…
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 1
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Эта статья — попытка собрать в одном месте внутренние механи…
«Зачем платформа, если есть Kafka?» Отвечаю честно, включая ту часть, где вы правы
Привет, Хабр! Меня зовут Виктор Овчинников, я руковожу продуктовым направлением «Интеграционная платформа» в «Диасофт». Той самой Digital Q.Integrat…
Большая история крохотного BPMN
Что полезного может делать бизнес-процесс, в котором всего одна задача, и та пользовательская? Что можно рассказать про BPMN-схему, которая поместит…
Инфраструктура данных 2052: что, если у данных больше не будет «прода» и «истории»?
Если мысленно вернуться в 1980-е , аналитика во многом находилась буквально над production Данные появлялись в операционных системах, затем из них с…
2–3 тысячи сборок в день: как мы превратили Kafka из компонента в инфраструктурную платформу
Apache Kafka можно бесплатно скачать, развернуть и подключить к приложениям. При небольшом проекте этого может быть достаточно: создали несколько то…
Как за 5 недель построить рекомендательную систему в TravelTech: Kafka и MongoDB вместо Feature Store
Привет! Меня зовут Кристина, я MLOps-инженер в Туту. Занимаюсь тем, что помогаю рекомендательным системам добраться до прода со всеми компромиссами,…
Как не растерять девятки в SLA от облачного сервиса до вашего прикладного ПО
Думаю, многие сталкивались с ситуацией, когда облачный провайдер честно обещает 99.95% или даже 99.99% SLA, но в реальности бизнес-система пада…
Пять дней ожидания: опыт длинных временных окон Kafka stream
Иногда бизнес-логика выглядит просто: «соберём все данные за период и посчитаем итоговый результат». На практике этот период может оказаться не часо…
"__TypeId__": как один Kafka-заголовок незаметно связывает микросервисы именами Java-классов
Если два сервиса обмениваются JSON, но один из них не может десериализовать сообщение без знания полного имени Java-класса другого сервиса - значит,…
IllegalMonitorStateException. Красим код в поисках монитора
Статья настоящий разбор-детектив: почему неблокирующий API может блокироваться, как потерять монитор после деоптимизации JIT, почему try-catch иногд…
Избавляемся от потерянных событий в микросервисах — как я написал свой Spring Starter для Outbox/Inbox
Всем привет! Меня зовут Григорий, и недавно при разработке своего микросервисного приложения я нашёл уязвимость — сообщения, пересылаемые…
Надёжная асинхронная коммуникация: повторы, дубликаты и dead letter queues
Представим обычную обработку заказа. Сервис заказов публикует событие order.created . Сервис склада получает его и резервирует товар в PostgreSQL. П…
Эволюция Kafka as a Service: от факапа до чилаута
Я Анастасия, ведущий SRE-инженер РСХБ.Цифра. В этой статье я расскажу о том, как мы в App.Farm, PaaS-платформе Россельхозбанка, перешли от одной «бо…
Миграция MariaDB → PostgreSQL без даунтайма: почему обычные утилиты не подошли и как мы сделали это через Debezium CDC
Перед командой, выросшей на MySQL/MariaDB, встаёт вопрос перехода на PostgreSQL: лицензии, экосистема расширений, более предсказуемое поведение при…
redb 3.3.0: решение уровня энтерпрайз на .NET — своя БД, свой Apache Camel и рантайм с дашбордом (и всё это бесплатно)
Когда говорят «энтерпрайз-стек на .NET», обычно имеют в виду зоопарк: база от одного вендора, шина от другого, ORM с миграциями, отдельный оркестрат…
От 0 до 10 миллионов ИИ-проверок в месяц: как мы продуктивизировали CV в Пятёрочке за 8 месяцев
Статья про то, как CV-сервис вырос с MVP до 10 миллионов проверок фото в месяц и не развалился в проде. 🔧 Это не про «у нас классные модели» и не пр…