Как превратить LLM-разметку в универсальный Spark-пайплайн
TL;DR: мы сделали llm_markup — Spark-приложение для массовой обработки данных через LLM API в существующем Airflow-контуре. Источник данных, промпт,…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- игры
AI
Gear
News
Tech
agents
ai
api
architecture
automation
beginners
career
database
devops
javascript
llm
machinelearning
mcp
opensource
performance
productivity
programming
python
react
security
showdev
testing
tutorial
typescript
webdev
Microsoft Fabric Now Encrypts Spark Temporary Data with Customer-Managed Keys;What It Actually Means
Microsoft Fabric has extended customer-managed key (CMK) encryption to cover temporary data generated during Spark job execution. This is not a mino…
Всё что нужно знать про DuckLake
Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это от…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
[Перевод] Работа с AI/ML-нагрузками в Kubernetes: плагин Headlamp для Kubeflow
Kubernetes незаметно стал платформой по умолчанию для ИИ и машинного обучения. Запускаете ли вы серверы notebook-ов для дата-сайентистов, планируете…
Spark Performance Deep Dive on Databricks: Shuffle Tuning, Skew Handling, and Z-Ordering with Delta Lake + Unity Catalog
The problem with "just add more workers" Most Spark performance issues on Databricks aren't solved by scaling the cluster — they're caused by shuffl…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Azure Databricks vs Microsoft Fabric: An Honest Guide to When to Use What
If you're building a data platform on Azure in 2026, you're going to be asked this question: Azure Databricks or Microsoft Fabric? Both run on Delta…
Azure Databricks for MLOps and Feature Engineering at Scale with Apache Spark, Delta Lake, and MLflow
Raw data doesn't win model competitions. Features do. And when your raw data is tens of billions of rows sitting across multiple sources, you can't…
Real-Time AI Feature Engineering with Spark Structured Streaming and Databricks Feature Store
Building point-in-time correct, production-grade feature pipelines — from raw Kafka events to online feature serving in milliseconds, using Spark St…
Apache Spark Query Optimization on Databricks: Catalyst, AQE, and Photon Engine
A deep dive into how Spark transforms your SQL into a physical execution plan — and how Databricks layers Adaptive Query Execution and the Photon ve…
Только Сигма выбирают Delta Lake
Привет, Хабр! Меня зовут Дмитрий Кравчук, я занимаюсь всем, что связано с данными в блоке AI&ML MAGNIT TECH. Расскажу про фундамент прибыльных п…
Google is pitching an AI agent ecosystem to consumers who may not buy it
The AI agents are coming. A lot of them.
Последовательное иерархическое распределение сумм между получателями. Постановка задачи. Выбор технологий
На текущем месте работы я иногда вижу запросы на систему распределения затрат по определенным правилам, которые должны гибко изменяться без необходи…
Why My Spark Container Keeps Exiting — Docker PID 1 and the Daemon Trap
I spent an embarrassing amount of time staring at my terminal, watching Spark containers start and immediately die. Three different attempts, three…
Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке
Всем привет! С вами Артемий Лямин ( @lyaminartemiy ) и Иван Тренёв ( @123-39 ). Мы работаем специалистами по разработке нейронных сетей в команде ав…