RU

Почему накопительная сумма в SQL врёт

Оконные функции часто дают результат, который выглядит правильным: итоговая сумма сходится, запрос проходит проверку, а ошибка проявляется только сп…

sqlPostgreSQLоконные функциинакопительные суммыоптимизация запросовCTEобработка данныханалитические функцииподзапросы
Habr
RU

«Переходи на Spark», говорили они. Сравнил pandas, Polars, DuckDB и PySpark на слабой машине

Сценарий знакомый: открываешь в pandas файл побольше, ноутбук задумывается, и через минуту всё падает с MemoryError. Следом обычно звучит совет: для…

pandaspolarsduckdbpysparkбенчмарканализ данныхобработка данныхparquetpythonпроизводительность
Habr
RU

[Перевод] Как я собирал карту мелодий Большого Токио: 2496 станций и записи лишь для 200

У больших данных часто есть одна проблема: самые важные выводы зависят не от сложности алгоритмов, а от того, насколько аккуратно собраны и сопостав…

анализ данныхоткрытые данныеочистка данныхвизуализация данныхобработка данныхнормализация данныхяпонияжелезные дороги
Habr
RU

VK Data Platform под капотом: как устроена платформа для Data Lakehouse

Отечественный рынок решений Data Lakehouse активно развивается: после периода пилотных проектов наблюдается массовый переход к промышленным внедрени…

vk cloudVK Data PlatformData LakehouseApache IcebergApache ParquetCedrusData Engineобъектное хранилищеаналитика данныхобработка данныхуправление метаданными
Habr
RU

VK Data Platform под капотом: как устроена платформа для Data Lakehouse

Отечественный рынок решений Data Lakehouse активно развивается: после периода пилотных проектов наблюдается массовый переход к промышленным внедрени…

vk cloudVK Data PlatformData LakehouseApache IcebergApache ParquetCedrusData Engineобъектное хранилищеаналитика данныхобработка данныхуправление метаданными
Habr
RU

Почему нельзя просто загрузить историю с фитнес-браслета в LLM и попросить оценить здоровье

Исследователи из Meta и KAIST решили проверить очевидный на первый взгляд вопрос: если дать большой языковой модели реальную историю измерений с фит…

искусственный интеллектLLMбенчмаркносимые устройствафитнес-трекерыздоровьемашинное обучениеWearableQAобработка данных
Habr
RU

Три модели с точностью 95%. Почему их цепочка может дать только 85%?

Например, один участник выбирает ветку кошек, другой - собак. Система может сохранить обе ветви, запросить более качественное изображение или переда…

алгоритмы обработки данныхалгоритмы поиска путиалгоритмы машинного обученияобработка данныхобработка информации
Habr
RU

Гейт зелёный, а полезные результаты теряются: три ошибки в LLM-конвейере

Модель вернула не все записи, валидатор отбросил пригодные данные, ручная очередь спрятала подходящие вакансии. Разбираю три места, где мой конвейер…

llm as a judgellm-as-a-judgellmopsвалидация данныхобработка данныхhuman in the looppython
Habr
RU

Как автоматизировать выгрузку данных из 1С: SQL или готовый ETL-инструмент

Как организовать регулярную выгрузку данных из 1С, если ручной экспорт уже не справляется с объемом и частотой обновлений? В статье сравниваются два…

1Свыгрузка данныхавтоматизацияSQLETLинтеграция данныхбазы данныхData Engineeringобработка данныханалитика данных
Habr
RU

Обзор рынка ДЗЗ в России: 2026

Состояние российского рынка дистанционного зондирования Земли на август 2026 года Российский рынок дистанционного зондирования Земли переживает дово…

Космоскосмоснимкидистанционное зондирование землиДЗЗгеоинформатикарынок данных 2026Роскосмосспутникисъемкаобработка данных
Habr
RU

Гипотеза о Языке Мышления как альтернатива Искусственному Интеллекту

50 лет назад была выдвинута гипотеза о Языке Мышления. Наверняка вы про нее не слышали – а зря. Классная штука, которая может перевернуть (и уже пер…

tapeмышлениеискусственный интеллектмашинное обучениеобработка данныхобработка информациимозг
Habr
RU

nanoCAD Облака точек – новая версия на Платформе nanoCAD 26

Компания «Нанософт» – ведущий разработчик инженерного программного обеспечения объявляет о выходе версии 26 nanoCAD Облака точек. nanoCAD Облака точ…

cadnanocadnanocad облака точекнанософтлазерное сканированиеобработка данных3d-сканеринженерияпроектированиецифровая модель
Habr
RU

Как я склеиваю 23 тысячи событий из пяти афиш — и почему дедуп нельзя делать необратимым

Зашёл тут на карту и вижу странную картину. На Чистых прудах висят три пина ровно друг на друге. Тыкаю, а там один и тот же «Вишнёвый сад» в Ленкоме…

дедупликацияfuzzy matchingPostgreSQLPythonтранслитерациянечёткое сравнениеON CONFLICTобработка данных
Habr
RU

Пять новых решений для 1С: дубли, загрузка данных, интеграции и ИИ

В июньскую подборку Маркетплейса Инфостарта вошли решения для задач, которые регулярно возникают при сопровождении 1С: поиск дублей, массовая замена…

1cавтоматизация 1собработка данныхкачество данныхзагрузка Excel в 1Синтеграция 1синтеграция 1с erperperp-системыerp-система
Habr
RU

Дофаминовая петля Strava: как геймификация сегментов превратила велосипедистов в «охотников за KOM»

Как одна продуктовая фича может превратить обычный GPS-трекер в главную спортивную зависимость десятилетия? Разбираем феномен «KOM-хантеров» в Strav…

Stravaгеймификациядофаминовая петляFOMOGPSобработка данныхвелоспортKOM hunterзож гикапродуктовый маркетинг
Habr
RU

Более 50 лет назад выдвинули гипотезу о Языке Мышления. Мы досконально разобрались с ней – и вам советуем. Это лучше ИИ

Сегодня в технологической среде принято говорить об искусственном интеллекте так, будто он естественно продолжает и вскоре заменит человеческое мышл…

искусственный интеллектмашинное обучениеобработка данныхtapeвосприятиетензорхомскийхинтонязык мышления
Habr
RU

Свой маленький GIS: WPF-приложение для мультиспектральных и гиперспектральных снимков

Привет, Хабр. Меня зовут Алексей, я C#-разработчик. В этой статье хочу рассказать о своём дипломном проекте очень запавшем мне в душу, который я дел…

гисwpfдзззондированиеспутникиобработка изображенийобработка данныхобразованиегиперспектральная съемкамультиспектральная съемка
Habr
RU

Kampus AI — альтернатива Notebook LM в России для работы с данными

Kampus Ai - попробовать нейросеть В этой статье разберём, чем Kampus AI реально может заменить Notebook LM, где он сильнее, где слабее и как его исп…

kampus ainotebook lmобработка данныхобработка данных дззобработка данных в реальном времени