Пять граней диагностики Data Lakehouse: концепция единого рабочего места
На проектах миграции данных есть промежуточный этап, когда новая платформа данных уже достаточно большая, чтобы начать создавать проблемы, но ещё не…
Latest News
⚑ Report a ProblemTech news from the best sources
All topics
- Искусственный интеллект, машинное обучение, нейросети
- Новости сети
- автомобили, мотоциклы, транспортные средства
- вирусы, трояны, уязвимости в ПО, вопросы безопасности
- игры
- мобильные телефоны, смартфоны, сотовая связь, коммуникаторы, КПК
- процессоры
AI-агенты
LLM
Python
ai
ai-агенты
claude
devops
llm
open source
python
ruvds_статьи
Новости
Статьи
автоматизация
ии
ии-агенты
информационная безопасность
искусственный интеллект
машинное обучение
нейросети
программирование
разработка
тестирование
[Перевод] Со Spark на Apache Doris: как Kwai ускорила расчёт метрик A/B-экспериментов в 145 раз
Kwai перенесла расчёт метрик A/B-экспериментов со Spark на Apache Doris: до 145 раз быстрее при снижении потребления ресурсов на 72%. В переводе раз…
Под капотом Kafka: путь сообщения от send() до commit offset. Часть 1
Привет, Хабр! Меня зовут Максим Шуматбаев, я инженер технической поддержки в Arenadata. Эта статья — попытка собрать в одном месте внутренние механи…
Как превратить LLM-разметку в универсальный Spark-пайплайн
TL;DR: мы сделали llm_markup — Spark-приложение для массовой обработки данных через LLM API в существующем Airflow-контуре. Источник данных, промпт,…
Всё что нужно знать про DuckLake
Когда вышел DuckDB 1.0, я написал статью Всё что нужно знать про DuckDB . Теперь вышел DuckLake v1.0 — LakeHouse-формат из той же экосистемы. Это от…
От ANN к честному KNN на GPU: как мы пересобрали отбор кандидатов в рекомендациях Ozon
Привет! Мы команда рекомендательной системы Ozon, и сегодня мы хотим рассказать о нашем пути от приближённого поиска соседей (ANN) к точному KNN на…
[Перевод] Работа с AI/ML-нагрузками в Kubernetes: плагин Headlamp для Kubeflow
Kubernetes незаметно стал платформой по умолчанию для ИИ и машинного обучения. Запускаете ли вы серверы notebook-ов для дата-сайентистов, планируете…
CI/CD для данных и моделей на Airflow: как мы деплоим прогноз спроса в «Магните»
Артефакт нашей сборки — не бинарник, а код вместе с терабайтами рассчитанных таблиц. Рассказываем, как из штатных фич Airflow, Spark и Delta Lake у…
TPC-DS в 07.2026. Lakehouse: Spark, Trino, StarRocks, Impala и Doris. GreenPlum & Cloudberry vs StarRocks как MPP
Привет, Хабр! На связи команда Data Sapience. С последней публикации результатов тестирования MPP-движков прошло уже несколько месяцев. За этот пери…
Только Сигма выбирают Delta Lake
Привет, Хабр! Меня зовут Дмитрий Кравчук, я занимаюсь всем, что связано с данными в блоке AI&ML MAGNIT TECH. Расскажу про фундамент прибыльных п…
Последовательное иерархическое распределение сумм между получателями. Постановка задачи. Выбор технологий
На текущем месте работы я иногда вижу запросы на систему распределения затрат по определенным правилам, которые должны гибко изменяться без необходи…
Когда автоматизация становится умнее: как трансформеры изменили AutoDL в Альфа-Банке
Всем привет! С вами Артемий Лямин ( @lyaminartemiy ) и Иван Тренёв ( @123-39 ). Мы работаем специалистами по разработке нейронных сетей в команде ав…