Php, curl — как пройти капчу, которая возвращает ERROR for site owner: Invalid domain for site key?

Question

[Kurusa]

Мое задание - спарсить сайт, который грузится только с использованием впн. Так выглядит мой запрос:

curl_setopt($this->ch, CURLOPT_URL, $url);
    curl_setopt($this->ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($this->ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($this->ch, CURLOPT_FOLLOWLOCATION, true);
    curl_setopt($this->ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($this->ch, CURLINFO_HEADER_OUT, true);
    curl_setopt($this->ch, CURLOPT_HTTPHEADER, [
        "Upgrade-Insecure-Requests: 1",
        "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36",
        "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3",
        "Accept-Language: en-US,en;q=0.9"
    ]);

    return curl_exec($this->ch);

Он рабочий, и парсер я уже написала, но иногда он возвращает вот что:


Как это можно обойти?

Сайт, с которым я имею дело - https://www.yad2.co.il

Comments

[Daria Motorina]

1) У меня с touch VPN (браузерное расширение) не получилось словить капчу
2) Это проблема владельца сайта, т.е. только он может сбросить ключ или перепроверить настройки капчи

[Kurusa]

Daria Motorina, да, у меня тоже не получилось напрямую на сайте словить капчу - только код ее вызывает.

[mic3ael]

Есть ли возможность это обойти? пишу телеграм бота застрял не получается загрузит данные из сайта из за captcha подскажите что делать, спасибо.

Answer 1

[Надим]

Парсите данные через браузер (на JavaScript), тогда таких проблем не будет.

Comments

[Kurusa]

Мне нужно спарсить более 100тыс. страниц. JS позволит мне это сделать?

[Надим]

Kurusa, вполне, вопрос лишь во времени. Например, если на одну страницу будем тратит по 5 сек. то спарсится все примерно за 5 - 6 дней. Если оптимизировать код, можно сократить время до секунды или двух + парсить в много-потоков. При желании время парсинга можно снизить на порядок, лишь бы железо потянуло и канала хватило.

[Kurusa]

Вы могли бы подсказать какие либы/методы мне лучше использовать?

[Надим]

Kurusa, тут никакие либы не нужно, JavaScript специально создан, чтобы работать с веб-страницами. Например, чтобы спарсить свое имя, выполните в консоли:

name = document.querySelector('a.user-panel__user-name').innerText;
alert(name);

Из текущего документа, будет найдет элемент a с каласом user-panel__user-name и из него будет прочитан текст. Результат будет записан в переменную name.

В общем, чтобы получить минимальную базу загуглите:

querySelector();
querySelectorAll();
.innerHTML
.innerText
setTimeout():
if else

Запускать свой js-код на чужих сайтах, на первых порах можно при помощи сторонних плагинов, но затем с опытом сможете сами такие плагины создавать.