Как парсить выдачу Google без блокировки (PHP + cURL)?

Question

[TillTill]

Парсю выдачу Гугла (только первую страницу выдачи), после примерно 30 запросов Гугл вываливает капчу. Можно ли парсить без блокировок, не используя прокси? Нужно, чтобы отработало ~1500 запросов не более чем за три часа.
Паузы между запросами ставил, браузероподобные заголовки отправлял.

Comments

[Dark Hole]

Зачем так много?

[Юрий]

капчу он помоему только поначалу показывает. потом начинает ип блокировать на время.

Answer 1

[mrRiver]

Есть сервис XMLRiver
~1500 запросов можно собрать за 10 минут.

Comments

[rudenkodigital]

Зарегался в этой херне, а она деньги теперь просит.

[mrRiver]

Сервис платный, но если посчитать затраты на прокси и решение капчи, то в большинстве случаев через XMLRiver собирать выгоднее

Answer 2

[sim3x]

Никак

Используй апи
Используй кучу прокси
Используй настоящий браузер
....

Comments

[TillTill]

АПИ (а именно Google Custom Search), насколько я понял, платный, бесплатно только 100 запросов в день:
https://developers.google.com/custom-search/json-a...
For CSE users, the API provides 100 search queries per day for free.

[sim3x]

TillTill: тебе или за капчу, прокси и впс нужно будет платить или напрямую гуглу

Answer 3

[Rou1997]

Нет, и более того, прокси и тем более VPS/VDS может уже присутствовать в списке, чтобы капча чуть ли не на каждом втором запросе появлялась.

Answer 4

[Виталий]

Плати за каптчу и не парься

Answer 5

[Golover]

На днях написали статью "How to check which URLs have been indexed by Google using Python"
Тут имеется в виду парсинг по списку URL, можно подшаманить и парсить по запросу.

ссылка

Answer 6

[librevlad]

Парсить с одного IP без блокировок не получится, но можно настроить сетку проксей на одну геолокацию для ровных результатов. А можно купить услуги готовых сервисов, например serpentine.io.