Какими библиотеками пользоваться для обработки больших файлов csv на python?

Question

[Elvis]

Есть несколько больших файлов csv, порядка 1,5-2 гигабайт. Необходимо эти файлы распарсить и обработать. Чем лучше всего пользоваться? Какими библиотеками?

Comments

[sim3x]

Что означает распарсить
Что означает обработать?

[Elvis]

распарсить - прочитать значения
обработать - произвести вычисления
sim3x, ну уже давно тут сидим, ну к чему вопросы?)))

Answer 1

[Шамуэй]

pandas
https://pythonspot.com/pandas-read-csv/

Comments

[Elvis]

Чем не нравится pandas - при указании на csv - он читает его сразу и полностью, что занимает оперативную память ровно столько, сколько и "вес" файла.

[Шамуэй]

Elvis, cmdlinetips.com/2018/01/how-to-load-a-massive-file...

[Elvis]

Вариант с чанками мне подходит думаю. Простая обработка файла(просто нужные столбцы выделил в отдельный массив) в 1 гигабайт у меня заняла 40 секунд. хороший результат

[Шамуэй]

Elvis, теперь осталось только нажать кнопку "Отметить решением"

[Elvis]

Хомон, я вкурсе как тут всё работает. отмечу когда буду уверен что мне такой способ подходит на 100%

Answer 2

[Dimonchik]

панда - эталон, включая всякие сводные таблицы

но вообще рекомендую открыть для себя кликхаус + tabix

Comments

[Elvis]

мммм... совсем не в ту степь. мне не нужна какая то новая СУБД и клиент к ней. меня вполне устраивает postgres если нужна база данных.