Скорость парсинга, первый раз 5 минут, второй раз 1 минута, как так?

Question

[rink0]

У меня есть парсер, вкратце что он делает: парсит картинки с сайта и разбивает по папкам.
Мне очень важно время выполнение(на сколько быстро выполнится этот скрипт)
И вот запустив первый раз, 8 папок спарсилось за 5 минут и 30 секунд, запустив второй раз примерно минута. Пробывал чистить кэш (в командной строке ipconfig /flushdns) результат тот же 1 минута
Как так?

Answer 1

[Dimonchik]

еще есть кеш на сервере

меряй скорость соединения отдельно, расладывалку по папкам отдельно

Answer 2

[Evgen]

Может он не качает файлы повторно?
У scrapy, например, есть механизм в image pipeline чтоб не скачивать повторно не устаревшие файлы.

Answer 3

[xDimus]

Почистите кэш файлов, ipconfig /flushdns очищает кэш dns запросов