Как спарсить выдачу гугла на 100 тыс. страниц?

Question

[elenaedu]

Добрый вечер!
Возможно ли как-то спарсить выдачу гугла по сайту (site:***.ru) на котором 100 тыс. страниц в поиске?
Есть ли какие-либо сервисы для этого?

Answer 1

[AUser0]

"Как достать из уличного банкомата всю наличность, мне очень нужно, есть какие-то службы?"
Ага-ага...

Comments

[elenaedu]

Не совсем понятна ваша аналогия. Парсинг конкурента не равно взлому банкомата

[AUser0]

elenaedu, про взлом речи не было.

А зачем вам эти промежуточные звенья в виде Google и парсинга страниц? Обратитесь за данными к конкуренту напрямую. И он сразу вам всё предоставит. Ведь аналогии же нету - значит обязан предоставить!

Answer 2

[ThunderCat]

Как спарсить выдачу гугла на 100 тыс. страниц?

Очень медленно и печально. Так как будут банить, капчить и всячески мешать, скорее всего сам сайт спарсить проще будет, защита наверняка будет слабее.

Есть ли какие-либо сервисы для этого?

Сомневаюсь. Утверждать не буду, но лично не встречал. Разве что локальные программы по типу HT Track, но проблемы те же - будут блочить.

Answer 3

[Александр Денисов]

Через Топвизор, например