Можно ли спарсить результаты выдачи гугла без хедлесс браузера?

Question

[bozuriciyu]

Попробовал wget, но Forbidden. Если ли способ получить первые 3 ссылки выдачи по сотне тысяч запросов не подключая браузер? Как парсят вот эти все семраши и ахрефсы вообще?

Answer 1

[wisgest]

Да, можно. Возможно, причина отказа в User-Agent или IP.

Answer 2

[alexdonskih]

1. Воспользуйтесь сервисами по решению рекапчи
2. Воспользуйтесь прокси

Comments

[bozuriciyu]

0. Вопрос прочитайте

[alexdonskih]

bozuriciyu, а в чем у вас проблема с ответом? Большие объемы парсят через чистые приваные прокси или решая рекапчу через сервисы распознавания(в посленем случе headless-браузер не нужен). Если вы получаете forbidden сразу при первом запросе, то у вас задроченный айпишник и его нужно сменить. Вроде все очевидно. Ищете некий третий волшебный вариант? Так нет его.

[bozuriciyu]

alexdonskih, какая нафиг рекапча без хедлес браузера? Какой нахер прокси, если это ответ на первый же запрос? ВОПРОС ЧИТАЙ

[alexdonskih]

bozuriciyu, обожаю когда тупые что-то не понимают и считают тупыми тех кто объясняет. Удачи в "профессиональной" деятельности :)

[bozuriciyu]

alexdonskih, ну тут надо еще посмотреть кто тупой, я-то понимаю как работает капча, в отличии от убогих. Успехов тебе загрузить скрипт капчи БЕЗ браузера, "умный", хаха