RU

Как превратить LLM-разметку в универсальный Spark-пайплайн

TL;DR: мы сделали llm_markup — Spark-приложение для массовой обработки данных через LLM API в существующем Airflow-контуре. Источник данных, промпт,…

data engineeringllmsparkpysparkopenai-compatible apillm-разметкаобработка текстовраспределённая обработка данныхdata pipelines
Habr
RU

От legacy до промышленной платформы: инженерная эволюция OSA в «Магнит»

Как мы провели проект через четыре «эпохи» — от ручных запусков на Windows‑планировщике до Spark + k8s на масштабе сет…

data engineerbigdatamlopsdata scienceosapysparkоблачные вычисленияархитектура системыdatalake