[Перевод] Как реализовать контракты данных для работы с объектами
Привет, Хаброжители! Мы подготовили для вас новый перевод статьи о контрактах данных. Здесь рассмотрены контракты данных на основе объектов, реализо…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
News
Tech
agents
ai
api
architecture
automation
backend
beginners
career
devchallenge
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Apache ICEBERG: Прикасаюсь к Iceberg… а он горячий
Про Iceberg сейчас много чего понаписано. Либо обзор «формат будущего, открытость, лейкхаус», после которого непонятно, где нажать, либо разбор одно…
Книга: «Высоконагруженные приложения. Программирование, масштабирование, поддержка. 2-е изд»
Привет, Хаброжители! Сегодня данные играют главенствующую роль в проектировании систем, и нужно обеспечить их масштабируемость, согласованность, над…
DSL в эпоху ИИ: делать или не делать…
Всем привет. Меня зовут Сергей и я руковожу разработкой автоматизации внутренних бизнес-процессов в рамках Центра управления процессами Московской Б…
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 2
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Это вторая часть разбора, что на самом деле происходит при р…
Как устроена платформа данных АстраЗенека в России: BI, DWH и Data Lake в одном контуре
Как устроена платформа данных АстраЗенека в России: BI, DWH и Data Lake в одном контуре Бизнес приходит с запросами разной природы. Одному нужна циф…
От сырых проверок качества данных до понятной картины в OpenMetadata
Ни для кого не секрет, что проверки качества — фундамент доверия к данным. Пока вы не знаете, насколько полны и корректны ваши данные, любые основан…
Бесплатного интеллекта не бывает: кто оплачивает данные для LLM
Привет, Хабр! По первому образованию я юрист. Успел поработать в прокуратуре и арбитражном суде, потом ушёл в ИТ и последние 13 лет занимаюсь инфрас…
LLM не должен читать логи без ограничений: безопасный MCP-шлюз для разбора сбоев
Как дать LLM разбирать сбои в пайплайнах, не открывая ей доступ к сырым логам и произвольным SQL-запросам Читать далее
Система экстренных оповещений на 15 тысяч пользователей: LLM, PostGIS, Qdrant и Telegram
Главная инженерная задача здесь — превратить поток неструктурированного текста из сотен телеграм-каналов в события, с которыми может работать осталь…
Аналитическая платформа данных по игре Dota 2: источники
Когда я начинал этот проект, казалось, что собрать данные по Dota 2 будет просто: есть Steam API, есть матчи, остаётся только сохранить их в базу и…
Проектирование архитектуры плагинов для сторонних провайдеров баз данных в TypeScript-приложении
Я работал над архитектурой LibreDB Studio — IDE для баз данных на TypeScript, которая поддерживает несколько SQL/NoSQL баз данных. Работая над слоем…
650 млн точек, 3 поломки и PI System: технический разбор предиктивной аналитики на НПЗ (часть 2)
Часть 2 из 2. В первой части серии мы предсказали отказ насоса за 60 дней и выяснили, что годами чинили не то. Увидели, что материал встретил вашу ж…
ETL log: как упростить работу инженеров данных. Опыт «Ленты»
Привет, Хабр! На связи Александр Курносов, руководитель группы платформы данных, и Андрей Двинских, инженер больших данных. В ежедневной работе мы и…
[Перевод] Автономность ИИ‑агентов в аналитике: сопротивляющаяся среда
В предыдущей статье я писал, что уровень автономности ИИ-агента слабо связан с тем, насколько умной кажется модель. Способность системы обнаруживать…
Как превратить LLM-разметку в универсальный Spark-пайплайн
TL;DR: мы сделали llm_markup — Spark-приложение для массовой обработки данных через LLM API в существующем Airflow-контуре. Источник данных, промпт,…
Аналитика в Postbox: от одной базы данных до YDB Transfer
Привет, Хабр! Меня зовут Дмитрий Наумов, я работаю в команде Yandex Cloud Postbox . Это API для надёжной доставки писем. В статье поделюсь опытом, к…
Аналитика в Postbox: от одной базы данных до YDB Transfer
Привет, Хабр! Меня зовут Дмитрий Наумов, я работаю в команде Yandex Cloud Postbox . Это API для надёжной доставки писем. В статье поделюсь опытом, к…
Почему ML-модель получает неправильные признаки: Event Time, Watermarks и Apache Flink
Представьте: вы разрабатываете антифрод-систему для банка. Пользователь совершает пять покупок подряд за пару минут. Все транзакции успешно попадают…
Книга: «Современная бизнес-аналитика. Увеличьте ценность данных с помощью Python и R»
Привет, Хаброжители! Извлечение ценности из данных — сложный процесс. Чтобы превратить данные в информацию, бизнес-аналитик должен уметь работать с…
Lightdash — BI, который живёт внутри вашего dbt‑проекта
Я — аналитик данных в команде BIGDATAHOUSE, и на всех проектах трансформацию данных реализую через dbt — де‑факто стандарт, в&nb…
Homelab для дата инженерии из игрового ПК
Данная статья наврятли является гидом по созданию домашней лаборатории, скорее это некое описание намерений. Читать далее
Внутри ИИ‑Напарника: как работает оркестр агентов в ритейле
Всем привет! Это Алексей из GlowByte. В прошлой статье я говорил о том, почему категорийный менеджер в большой сети часто чувств…
Apache Iceberg: Индиана Джонс и Каталог судьбы
*.parquet - данные лежат в открытом формате - казалось бы, бери кто хочешь. Но есть неприметный артефакт, от которого зависит, увидите вы таблицы ил…
Apache Spark и компиляция пользовательских функций UDF на Java в рантайме
Привет, Хабр! Меня зовут Михаил Сичалов, я руководитель проектов и эксперт практики Applied Intelligence в компании Axenix. Это вводная стать…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
AI‑assisted development в малом бизнесе: как я собрала систему обработки отзывов для ресторанной сети
Я маркетолог и до этого проекта не писала код. Но с помощью GPT собрала рабочую систему сбора, обработки и аналитики отзывов для ресторанной сети: 1…
Пока все хоронили пайплайны, ClickHouse достраивал слои
«Отдельные базы больше не нужны», «конец пайплайнов» - каждую неделю кто-то крупный со сцены хоронит то, что ты вчера поставил в прод. ClickHouse по…
Databricks Data and AI Summit 2026. Моя первая поездка в США
Недавно мне удалось посетить Data + AI Summit в Сан-Франциско в качестве Databricks MVP . Крупнейшую конференцию Databricks, посвященную данным, иск…
Как я собрал базу визовых требований, где каждая ячейка ссылается на официальный источник
Привет, сообщество. Где-то два месяца назад мне пришла в голову идея, очень простая по своей сути, но ой как обширная, если начать в ней копаться бо…