> Мелкие файлы, скорее всего, разбросаны по диску и фрагментированы, поэтому получается random reed, а не sequential read.
Попробуйте скопировать(именно скопировать, а не переместить) файлы в новый каталог, тогда они на диск последовательно запишутся. И после этого замерить скорость.
Еще проверьте сколько памяти занимает процесс python и не свопится ли машина.
Вы замеры скорости делали на указанном коде? Или там еще в цикле доавление в базу есть? Если есть, то возможно оно и тормозит. Лучше бы полный код приводить в таком случае.
Также попробуйте проверить скрипт на папке с меньшим количеством файлов, т.к. если файлов очень много, то операция open будет тормозить, тем более у вас винда.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
Попробуйте скопировать(именно скопировать, а не переместить) файлы в новый каталог, тогда они на диск последовательно запишутся. И после этого замерить скорость.
Еще проверьте сколько памяти занимает процесс python и не свопится ли машина.