Чтение мелких (100КБ) файлов с диска в цикле и добавление их содержимого в list, для дальнейшей обработки, не поднимает использование жёсткого диска выше 3МБ в секунду. Это предел или можно увеличить скорость чтения?
CrystalDiskMark показывает 40 МБ, но это на больших файлах, а мелкие, да ешё фрагментированые могут читаться медленнее.
Несколько процессов не имеет смысла использовать, так как это лишь нагружает читающую головку винчестера, как я понял.
Но 3 МБ ? Это как-то неправдоподобно.
код такой,
while(count<2000):
try:
data = open(path+str(num)+".html").read()
lst.append(data)
except:
pass
