Как парсить сайт, который защищен от парсинга с помощью PHP?

Question

[Александр]

Раньше висел парсер на сайте, который успешно работал. Последнее время смотрю что тишина, открываю, а там все логи в ошибках 403.
Попробовал разные методы найденные в гугл, выдает или ошибку 403, или "Пожалуйста подождите пока мы проверяем ваш браузер"...
Сейчас использую такой код, но он не работает...

<?php
$url = 'https://www.osta.ee/ru/zavershajutsja';
$options = [
  'http'=> [
    'user_agent' => 'Mozilla/5.0 (Windows NT 10.0; rv:78.0) Gecko/20100101 Firefox/78.0',
    'protocol' => 1.1,
    'header' => [
        'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
        'Accept-Language: ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3',
        'Upgrade-Insecure-Requests: 1',
        'Host: www.osta.ee',
    ]
  ]
];
$context = stream_context_create($options);
$html = file_get_contents($url, false, $context);
?>

Answer 1

[Надим]

Прекрасно все открывает, пробовал с других стран, все открывает. Если у вас не так, вам надо использовать прокси, видимо ip адрес вашего сайта в бане.

Comments

[Александр]

Удивительно. Я пробовал и через домашнюю сеть, и мобильную, и хостинг, а так же через Гугл транслейт прежде чем сюда написать. Везде одно и тоже «проверяю ваш браузер перед входом».
Сейчас попробовал через онлайн анонимайзеры, и везде или тот же результат, или же 403 ошибка.
Спасибо, буду дальше бороться.

Answer 2

[ThunderCat]

открыть браузером, посмотреть заголовки, перенести в код.

Comments

[Александр]

Пробовал, не прокатывает:(
Притом ребята похоже перестарались потому что их даже google.translate не может открыть:)

[ThunderCat]

Александр, у меня все замечательно открывает, в том числе и гт.

[Александр]

ThunderCat, интересно. У меня ни с телефона (через мобильную сеть), ни с домашнего компьютера(проводное подключение) ни с хостинга (fornex с германии) выдает ошибку если заходить через google translate такую же, как и через парсинг с кодом скопированным с браузера.

$ch = curl_init();

curl_setopt($ch, CURLOPT_URL, 'https://www.osta.ee/ru/zavershajutsja');
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET');

curl_setopt($ch, CURLOPT_ENCODING, 'gzip, deflate');

$headers = array();
$headers[] = 'Authority: www.osta.ee';
$headers[] = 'Cache-Control: max-age=0';
$headers[] = 'Sec-Ch-Ua: ^^';
$headers[] = 'Sec-Ch-Ua-Mobile: ?0';
$headers[] = 'Sec-Ch-Ua-Platform: ^^Windows^^\"\"';
$headers[] = 'Upgrade-Insecure-Requests: 1';
$headers[] = 'User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36';
$headers[] = 'Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9';
$headers[] = 'Sec-Fetch-Site: same-origin';
$headers[] = 'Sec-Fetch-Mode: navigate';
$headers[] = 'Sec-Fetch-User: ?1';
$headers[] = 'Sec-Fetch-Dest: document';
$headers[] = 'Referer: https://www.osta.ee/ru';
$headers[] = 'Accept-Language: ru-RU,ru;q=0.9,en-US;q=0.8,en;q=0.7';
$headers[] = 'Cookie: device_pixel_ratio_v1=1.75; OptanonAlertBoxClosed=2022-01-26T14:56:30.029Z; _ga=GA1.2.551620599.1643208990; _fbp=fb.1.1643208990303.498189522; __gads=ID=9f651494fe3bd9bd:T=1643209036:S=ALNI_MYStkkdIQzPndM4GtIGEIV2i8hZGA; autologin_v1=482200^%^3A0325e058ebb3fbe21841c694d60063be; osta_analytics_v1=c8a5613c09df03564da023764efbdd01; ostaee_public_v1=f4b6360fc974ae5899ce0321713b21f1; eupubconsent-v2=CPTbcp2PTbcp2AcABBENCGCsAP_AAH_AAChQIhtf_X__b3_j-_5_f_t0eY1P9_7_v-0zjhfdt-8N3f_X_L8X42M7vF36pq4KuR4Eu3LBIQVlHOHcTUmw6okVrzPsbk2cr7NKJ7PEmnMbO2dYGH9_n93TuZKY7______z_v-v_v____f_7-3_3__5_3---_e_V_99zLv9____39nP___9v-_9____giGASYal5AF2JY4Mm0aVQogRhWEh0AoAKKAYWiKwgdXBTsrgJ9QQsAEAqAjAiBBiCjBgEAAAEASERASAHggEQBEAgABACpAQgAI2AQWAFgYBAAKAaFiBFAEIEhBkcFRymBARItFBPZWIJQd7GmEIZZYAUCj-ioQEShBAsDISFg5jgCQEuFkgWYoXyAAA.f_gAD_gAAAAA; _gid=GA1.2.442052530.1647202124; lang_v1=ru; __cf_bm=bSXIqfE5Z6OjLVW3nZPzafl26I9jGYW7Wp6yyjrfwrA-1647203272-0-AYP8rICuSbLvNw2mu42/wvgEAu4LjOjHnAGtPJl7KOv1d42z+esbb2cDWzcOOH80ZE3eES1B0d+NPAgz4PF1VVu2xUipG5C0Bi0M+tAWw7IiqG9gq57RASivTqtlVL0LyrpFpXPZlZd5tINsmLpgR2xLL2y85J/pKe17RStrDycy; OptanonConsent=isGpcEnabled=0&datestamp=Sun+Mar+13+2022+22^%^3A31^%^3A04+GMT^%^2B0200+(^%^D0^%^92^%^D0^%^BE^%^D1^%^81^%^D1^%^82^%^D0^%^BE^%^D1^%^87^%^D0^%^BD^%^D0^%^B0^%^D1^%^8F+^%^D0^%^95^%^D0^%^B2^%^D1^%^80^%^D0^%^BE^%^D0^%^BF^%^D0^%^B0^%^2C+^%^D1^%^81^%^D1^%^82^%^D0^%^B0^%^D0^%^BD^%^D0^%^B4^%^D0^%^B0^%^D1^%^80^%^D1^%^82^%^D0^%^BD^%^D0^%^BE^%^D0^%^B5+^%^D0^%^B2^%^D1^%^80^%^D0^%^B5^%^D0^%^BC^%^D1^%^8F)&version=6.16.0&isIABGlobal=false&hosts=&consentId=51dbf77d-92af-45aa-b6b4-6a7de6249bdf&interactionCount=1&landingPath=NotLandingPage&groups=C0004^%^3A1^%^2CC0003^%^3A1^%^2CC0002^%^3A1^%^2CC0001^%^3A1^%^2CSTACK42^%^3A1&geolocation=EE^%^3B37&AwaitingReconsent=false; last_visit_v1=1647203464';
curl_setopt($ch, CURLOPT_HTTPHEADER, $headers);

$result = curl_exec($ch);
if (curl_errno($ch)) {
    echo 'Error:' . curl_error($ch);
}
echo ($result);
curl_close($ch);

Answer 3

[coderisimo]

Можно попробовать безголовые браузеры