aRegius, сет я использовал в самом начале скрипта, чтобы удалить ндубли элементов, скрипт проверки сео раникнга, работает асинхронно, поэтому данные возвращаются не в таком порядке, как были заданы, и нужно все вернуть.
ScriptKiddo, нуууу, это да, но тут я написал 40 строк кода за 4 тысячи рублей, потравтив пару часов, вполне неплохо. а решил я это просто, если в пришедшем ответе содержится слово data-sitekey, то я еще раз перезапускаю запрос, и так пока не придет именно файл. конечно, получается дольше, но что поделать.
да я вот про то же, но заказчики бывают упертые, и ничего с этим не сделать, хочет тор и все, хотя по сути платные прокси у меня и свои есть, да и так можно сделать все асинхронно с проксями.