Какую библиотеку использовать для работы с большими excel файлами?

Question

[Freerade]

Строк под 600к, возможно и больше в дальнейшем, пробовал openpyxl и pandas, везде минут 20 распарс занимает, хотелось бы быстрее, как вообще грамотно с таким объемом работать? Я наверняка о чем-то не догадываюсь.

Comments

[Viktor T2]

статейка:
https://towardsdatascience.com/loading-ridiculousl...
теоретически, пандасы можно ускорять:
Modin
https://www.kdnuggets.com/2019/11/speed-up-pandas-...
https://www.anyscale.com/blog/how-to-speed-up-pand...
https://medium.com/nuances-of-programming/%D1%83%D...

Answer 1

[rPman]

набейте морду тому кто выбрал такой отвратительный формат экспорта данных

по теме, если файл формата .xslx, то это zip архив с текстовыми xml файлами, возможно их вам будет (например потоковыми парсерами) разобрать проще и быстрее.