Dr_Elvis
@Dr_Elvis

Какими библиотеками пользоваться для обработки больших файлов csv на python?

Есть несколько больших файлов csv, порядка 1,5-2 гигабайт. Необходимо эти файлы распарсить и обработать. Чем лучше всего пользоваться? Какими библиотеками?
  • Вопрос задан
  • 335 просмотров
Решения вопроса 1
Пригласить эксперта
Ответы на вопрос 2
@al_mo
Scala Enthusiast
помимо pandas, как указал Хомон, можно использовать numpy.
в некоторых случаях, работа в нампи может оказаться значительно быстрее, чем в пандас.
Также имейте в виду, что датафреймы в пандас - это в принципе медленная штука, поэтому если будет необходимость часто строить запросы а-ля sql, то можно поднять локальный postgresql и производить эти операции там.
Ответ написан
dimonchik2013
@dimonchik2013
;)
панда - эталон, включая всякие сводные таблицы

но вообще рекомендую открыть для себя кликхаус + tabix
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы