Как эмулировать браузерный запрос к google при помощи cURL?

Question

[IoanSolo]

Нужно получить 100 первых результатов поиска по определенному ключевому слову(при помощи скрапера), но время от времени гугл блокирует IP и требует ввести каптчу. Можно ли эмулировать браузерный запрос при помощи cURL?

Конфиги cURL:

$curl = curl_init();
    curl_setopt($curl, CURLOPT_URL, $url);
    curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
    curl_setopt($curl, CURLOPT_VERBOSE, true);
    curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);
    curl_setopt($curl, CURLOPT_AUTOREFERER, 1);
    curl_setopt($curl, CURLOPT_COOKIEFILE, $GLOBALS['cookie_file']);
    curl_setopt($curl, CURLOPT_TIMEOUT, 30);
    curl_setopt($curl, CURLOPT_HEADER, 0);
    curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
    $html = curl_exec($curl);

Answer 1

[B@rmaley.e><e]

Если хотите прикинуться браузером, то лучший способ — быть им. Например, с помощью phantomJS.

Comments

[Jonh Doe]

Или Selenium

[Андрей Ширяев]

Это лишнее для таких запросов как у автора, лишняя трата памяти, и придется что-то выдумывать с оберткой для запуска в несколько потоков.

Answer 2

[Илья Ерин]

Так вроде у гугла есть API, зачем этот велосипед?

Answer 3

[Антон]

1. Сделайте запрос в браузере
2. Посмотрите какие заголовки уходят к гуглу (смотреть с помощью chrome dev tools, firebug, fiddler или т.п.)
3. Запрограммируйте curl отправлять идентичные заголовки
4.…
5. PROFIT!

Answer 4

[VeMax]

Предположим вы передадите заголовки браузера, а что это изменит? Google также будет блокировать при превышении неких лимитов.

Comments

[IoanSolo]

В том то и дело, что при curl запросе google требует ввести каптчу, но при переходи на нужный url в браузере каптчу вводить не надо

[nochkin]

Обычно заголовка User-agent с «правильным» браузером может быть достаточно.

[VeMax]

Этого будет достаточно, пока не будут превышены пороговые значения. Обычные пользователи иногда страдают из-за этого, т.к. вместо поиска выводится запрос на ввод капчи.

[Error_403_Forbidden]

капчу можно автоматически решать через pixodrom.com — закинул доллар и тысячу запросов к гуглу можно легко отправлять

[VeMax]

Правильно, капчу можно решать и без прикидывания браузером.

Answer 5

[Stdit]

Гугл ведь неспроста блокирует запросы от скриптов, и проверяет их капчей, поэтому нужно доказать ему, что ваш скрипт — не бот (распознать капчу). Я замечал, что он это делает, когда запрашиваемые слова не связаны морфологически и идут массово с одного адреса (который, к тому же, наверняка принадлежит известному датацентру?). Еще можно попробовать отправлять корректный «браузерный» заголвок, с юзерагентом и прочими хедерами.

Comments

[Jonh Doe]

Даже если парсить страницы выдачи одного запроса, то капча тоже появляется.

Answer 6

[kenny_opennix]

в консоле примерно так curl -A Mozilla www.google.com/search?q=linux |html2text -width 70

Answer 7

[egorinsk]

Какая Гуглу выгода от того, что им пользуются боты? Они не смотрят рекламу, от них только нагрузка и вред. правильно Гугл делает, я бы тоже скрипты блокировал.