Парсер позиций сайта в выдаче google (SEO, SERP)?

Question

[ADA M]

Подскажите пожалуйста какие существуют на данный момент способы парсить выдачу google по ключевым словам.

Задача примерно такая: Есть массив слов, по которым нужно произвести поиск, и затем по полученным результатам для каждого ключевого слова определить позицию в выдаче. Соответственно это поможет бесплатно отслеживать эффективность seo-оптимизации.

Как это реализовать понятно, а вот как обойти защиту рекапчи и не спалиться перед гуглом непонятно.
Хочу сделать для себя небольшой сервис типа https://serpapi.com. Интересно как они это делают (прокси, эмуляция браузеров)? Хотя даже так, все равно можно нарваться на капчу или бан.

Также пробовал Google custom search api, однако он выдает очень отличные от оригинального гугла результаты.

P.S.: Я ищу именно бесплатное решение. Все сервисы, которые предоставляют такого рода услуги стоят довольно приличных денег, да и функционал у них слишком навороченный для меня. Мне необходимо просто определять для себя позиции по ключевым словам (пусть скажем штук 50 в день).

Comments

[sim3x]

Вы же понимаете, что будете получать результат персонализированный под непонятно кого?

[ADA M]

sim3x, ну я думаю, если запросы все будут в пределах одной страны, результаты сильно разниться не будут. Или это не так?

[sim3x]

ADA M, не так

Результат персонализируется под парамеры, которые ПС получила из истории поисковых запросов

[ADA M]

sim3x, ну ладно окей) Тогда буду брать среднюю величину, как это в google search console делается для страниц, которые "видели".

Answer 1

[Юрий]

50ключей в день конечно можно и бесплатно. просто делайте не чаще 1 запроса в минуту (итого в сутки 1440). а так, если нужны обьемы, это делается через прокси. эмуляция браузера не обязательна и так работает. но если вам так проще сделать - то будет еще лучше.

Comments

[ADA M]

Спасибо, действительно капчу таким способом не ловлю.
Вот если скажем я буду использовать эмуляцию браузера (типа selenium) довольно быстро, гугл это заметит?
И почему именно 1 запрос в минуту?) Каково минимальное значение примерно?

[Юрий]

ADA M, с эмуляцией будет такой же лимит.
почему? видимо у них ограничение такое стоит, возможно 60 запросов в час например. или другой аналогичный. возможно чуть чуть меньше тоже будет работать, но надо проверять не менее суток.

если надо больше - то это прокси. но бесплатные прокси все заспалмлены - у вас там с самого первого запроса будет капча. дешевые не элитные прокси - также. парсить выдачу все хотят.
если вам нужно парсить в промышленных масштабах - то нужно быть готовым к тратам.

[Юрий]

дело в том что эти ограничения создаются и исходя из того как часто юзеры чтото ищут.
нормальный человек почти никогда не делает больше 60 запросов в час, да еще круглосуточно :)

Answer 2

[Андрей Федосеев]

majento-top-analyzer

Answer 3

[GRESIUS]

https://be1.ru/position-yandex-google/