При парсинге сайтов я использую прокси и некоторые из них отдают кэшированную страницу, как получать всегда свежую (обновленную) страницу? Как определить, что этот прокси кэширует, чтобы убрать его со списка и использовать другие?
Можно попробовать смотреть на заголовки, но это не 100% вариант и зависит от настроек прокси сервера. Как по мне, проще всего, добавлять какой-то генерируемый GET параметр к запросу, чтобы прокси сервер гарантировано не мог достать результат из кэша.
