RU

«Переходи на Spark», говорили они. Сравнил pandas, Polars, DuckDB и PySpark на слабой машине

Сценарий знакомый: открываешь в pandas файл побольше, ноутбук задумывается, и через минуту всё падает с MemoryError. Следом обычно звучит совет: для…

pandaspolarsduckdbpysparkбенчмарканализ данныхобработка данныхparquetpythonпроизводительность
Habr
RU

4,6 млн замеров загруженности парковок Москвы: выкладываем датасет за полтора года

Открытых данных по загруженности парковок в мире на удивление мало: самый известный набор охватывает 30 парковок за три месяца 2016 года. Мы полтора…

открытые-данныедатасетывременные-рядымосквапарковкиparquettimescaledb
Habr
RU

−1000% занятости: как я нашёл дыры в собственном опубликованном датасете

Мы выложили открытый датасет по загруженности парковок, а потом увидели в нём процент занятости со значением −1000. Дальше — расследование, в которо…

датасетыdata-qualityparquetkagglepandasвалидацияоткрытые-данные
Habr