Задать вопрос
@Zimaell

Амазон блокирует все парсеры?

Несколько месяцев я использовал обычный парсер товаров амазона, PHP+CURL+PROXY, работало все нормально, и вот сегодня где-то после обеда все поломалось, в смысле код не изменялся и все работало стандартно, но амазон на запрос какой либо страницы (хоть напрямую, хоть через один из тысяч прокси) выдает 503...
Раньше такого не было, чтобы все все ответы 503.
Подскажите кто сталкивался, думаю здесь есть те кто так же парсит амазон, как решить данную проблему? Или это у них время от времени бывает такой заскок?
Ведь через браузер заходит нормально, а через curl, вот пример

$ch=curl_init();
curl_setopt($ch,CURLOPT_URL,$url);
$headers=array(
	'Host: www.amazon.de',
	'User-Agent: '.$user_agent,
	'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
	'Accept-Language: en-US;q=0.5,en;q=0.3',
	'Accept-Encoding: gzip, deflate, br',
	'Referer: https://www.amazon.de/',
	'Connection: keep-alive',
	'Upgrade-Insecure-Requests: 1'
	);
curl_setopt($ch,CURLOPT_HTTPHEADER,$headers);
curl_setopt($ch,CURLOPT_USERAGENT,$user_agent);
curl_setopt($ch,CURLOPT_TIMEOUT,30);
curl_setopt($ch,CURLOPT_CONNECTTIMEOUT,30); 
curl_setopt($ch,CURLOPT_FOLLOWLOCATION,FALSE);
curl_setopt($ch,CURLOPT_RETURNTRANSFER,TRUE);
curl_setopt($ch,CURLOPT_SSL_VERIFYPEER,FALSE);
curl_setopt($ch,CURLOPT_SSL_VERIFYHOST,FALSE);
curl_setopt($ch,CURLOPT_HEADER,TRUE);
curl_setopt($ch,CURLOPT_POST,FALSE);
curl_setopt($ch,CURLOPT_ENCODING,"");
$content=curl_exec($ch);
curl_close($ch);

никак не хочет, только 503 ответ, и повторюсь это произошло сегодня а раньше такого не было...
так что если у кого-то есть вариант решения данной проблемы то подскажите если не сложно.
  • Вопрос задан
  • 551 просмотр
Подписаться 2 Простой 2 комментария
Помогут разобраться в теме Все курсы
  • Skillfactory
    Профессия Fullstack веб-разработчик на JavaScript и PHP
    20 месяцев
    Далее
  • Хекслет
    PHP-разработчик
    10 месяцев
    Далее
  • Нетология
    Веб-разработчик с нуля: профессия с выбором специализации
    14 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
inoise
@inoise Куратор тега PHP
Solution Architect, AWS Certified, Serverless
Amazon работает на AWS, в AWS есть CDN CloudFront, в CloudFront есть WAF (Web Application Firewall), WAF работает на машинном обучении. Если вы не купите proxy из другой части света и не измените до неузнаваемости сигнатуру запроса то никак - машинка уже вас оценила, взвесила и за километр чует
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
FoodSoul Калининград
от 180 000 до 250 000 ₽
IT-Spirit Москва
от 230 000 до 320 000 ₽
от 200 000 до 290 000 ₽