Как делать парсинг результатов поиска Google?

Question

[Bjornie]

Вопрос скорее не по технике какие библиотеки использовать, а по опыту парсинга. Есть необходимость искать регулярно (и много) определенных запросов в выдаче Google, посещая только первую страницу и анализируя сниппеты первых результатов поиска. У кого был похожий опыт подскажите на какие грабли наступили и как лучше всего осущеставлять данную задачу?

Comments

[Елизавета Горошко]

Проще всего для этого использовать программу Screaming Frog. Подробно этот способ описан в статье https://politay.pro/parsim-pokhozhiye-zaprosy/, советую глянуть, может что-то новое для себя найдете.

Answer 1

[Dimonchik]

в залогиненом состоянии лучше

Answer 2

[Odisseya]

Нужен пул ip и регулярная их смена + по API подключаем сервис разгадки капч.
И подстроить эмпирически таймауты.