Как грамотно спарсить с поисковиков?

Question

[stepan-neretin7]

Ребята,как грамотно парсить поисковые запросы с яндекса или гугл без капчи,был бы благодарен
Предпологаю что через динамические прокси?Верно
Если у кого нибуть есть пример скрипта,поделитесь

Comments

[Дмитрий]

А сами-то как пытались решить?

Answer 1

[SagePtr]

Никак, поисковики гораздо умнее вредителей и совершенствуют методы определения вредителей)

Comments

[Ivan Yakushenko]

Точно никак?
Selenium + хорошие прокси с вами поспорят.

[SagePtr]

Ivan Yakushenko, хорошие прокси нужно ещё где-то без палива брать, так чтобы кроме автора больше никто их не использовал.

[Ivan Yakushenko]

SagePtr, хорошие прокси покупать нужно и стоят они недешево.

[Сергей Горностаев]

Ivan Yakushenko, если вы их легко нашли и купили, то можете быть на все 100% уверены, что их список есть у всех, кто делает защиту от парсинга.

[stepan-neretin7]

Сергей Горностаев, а как обходить капчу то?

[Сергей Горностаев]

stepan-neretin7, готового рецепта нет. Команды разработчиков поисковых систем ежедневно их совершенствуют. Придётся постоянно искать новые способы и постоянно превосходить разработчиков поисковиков.

[Ivan Yakushenko]

Сергей Горностаев, я же не говорю, что нужно покупать первое, что гугл выдает, но найти бесплатные, которые будут работать с гуглом шансов практически нет.

[Сергей Горностаев]

Ivan Yakushenko, да, с бесплатными вообще не вариант.

[stepan-neretin7]

Ivan Yakushenko, как раз таки гугл не блочит

[Ivan Yakushenko]

stepan-neretin7, он не блочит, но выдает капчу.

Answer 2

[Konata Izumi]

Предпологаю что через динамические прокси

Всё так. Причем закупать где-нибудь эти прокси, а не брать бесплатные.

Если у кого нибуть есть пример скрипта,поделитесь

Работающая поделка осталась на прошлой работе. Могу только общие принципы изложить:
- У яндекса и гугла разные ограничения. Находил где-то рекомендацию "1 запрос раз в 5 минут" с одного прокси - это взял за общее. От этого ограничения и отталкивался.
- Закупать пачками прокси. Написать менеджер, который управляет заменой прокси, если по ним начинают фейлится запросы (капча тоже).
- Помимо разных прокси использовать разные user-agent. Где-то находил коллекцию или генератор фейковых агентов.
- Использовать менеджер очередей. Полезно для больших коллекций запросов, для обработки фейленных запросов и т.д.

- Не использовал сервисы распознования капчи, т.к. дорого/долго. Проще возиться с проксями.
- Не использовал яндекс апи. Там жесткие ограничения, да и выдача ощутимо отличается от реальной.

Answer 3

[Dimonchik]

главное в методе - непубличность

прокси, если чо, Яша быстро узнает, если публичные

Answer 4

[grinat]

Когда-то давно у них api были, хз как сейчас. Но mail/rambler/nigma работали через api яндекса. Гугл свое вроде закрыл давно.

Answer 5

[Евгений]

Возможно такой вариант может оказаться оптимальным...