Поговорите со мной кто-нибудь. Мне грустно и холодно одному в этой пустоши информационного вакуума.
Кто нибудь сталкивался с вопросом автоматизированного изъятия результатов с учетом локального (с учетом определенного города, например) поиска google? Существует большое количество примеров и библиотек по извлечению serp данных. Вы, возможно, удивитесь, но для каждого IP данные будут различны.
Я тут на досуге взял
SEOStats и допилил возможность указывать местоположение запроса, основываясь на
данной статье. Все было прекрасно, пока я пользовался одним локальным IP. Но тут пригодился более агрессивный скрейпинг. Прикрутив автоматическую ротацию прокси-серверов, я выяснил, что мой способ изъятия данных при помощи параметра uule уже не годится. Наступил новый 2015 год. Google в приоритете использует данные местоположения IP адреса с которого выполняется запрос (прокси сервера в моем случае).
Тут начинается моя грусть печаль. Как сказать гуглу с прокси сервера, что я хочу получить данные именно по определенному городу? Спасибо-пожалуйста-давайте поговорим.
ps./ Каким-то волшебным образом эти данные в большом объеме получает allpositions.ru, semrush.com.