Как поднять скорость чтения файлов с диска?

> Мелкие файлы, скорее всего, разбросаны по диску и фрагментированы, поэтому получается random reed, а не sequential read.

Попробуйте скопировать(именно скопировать, а не переместить) файлы в новый каталог, тогда они на диск последовательно запишутся. И после этого замерить скорость.

Еще проверьте сколько памяти занимает процесс python и не свопится ли машина.

Как поднять скорость чтения файлов с диска?

Да, все верно, я не заметил read в строке с open.

Вы замеры скорости делали на указанном коде? Или там еще в цикле доавление в базу есть? Если есть, то возможно оно и тормозит. Лучше бы полный код приводить в таком случае.

Также попробуйте проверить скрипт на папке с меньшим количеством файлов, т.к. если файлов очень много, то операция open будет тормозить, тем более у вас винда.