Вопрос скорее не по технике какие библиотеки использовать, а по опыту парсинга. Есть необходимость искать регулярно (и много) определенных запросов в выдаче Google, посещая только первую страницу и анализируя сниппеты первых результатов поиска. У кого был похожий опыт подскажите на какие грабли наступили и как лучше всего осущеставлять данную задачу?
Проще всего для этого использовать программу Screaming Frog. Подробно этот способ описан в статье https://politay.pro/parsim-pokhozhiye-zaprosy/, советую глянуть, может что-то новое для себя найдете.
Простой
Сложный
