Печему Google и Яндекс не отдает более 600 результатов?

Question

[KVS17]

Хочу спарсить выдачу яндекса или гугла. Включаю отображать по 100 ссылок на странице. Ввожу запрос, получаю 280 000 результатов, перехожу на 6 страницу и ВСЕ дальше поисковик выдачу не показывает!!! Подскажите как можно решить этот вопрос?

Comments

[AlikDex]

Полагаю, гугл отдает кеш по запросу и не более того. Почему 600? Ну наверное они посчитали, что большинство пользователей дальше не ходят в принципе, поэтому незачем тратить ресурс.

Answer 1

[Александр]

Насколько знаю поисковики блокируют парсинг запросов, надо либо тайминги подбирать, либо как то искать обход блокировки.

Comments

[KVS17]

я делаю парсинг выдачи, а не парсинг запросов

[Dimonchik]

KVS17: а как сделать парсинг запросов? ты подсказки имеешь в виду?

[KVS17]

dimonchik2013: >>>а как сделать парсинг запросов?
KeyCollectorom.
>>>ты подсказки имеешь в виду?
нет! я парсю именно выдачу, например: программист site:vk.com
поисковики отдают только 600 страниц, как обойти это ограничение?