Какой сервис может помочь спарсить SEO-выдачу по запросу в точном соответствия?
Нужно собрать список сайтов (яндекс выдал всего 1 000) по запросу в "!точном !соотвествии"
Хотел сначала нанять человека, чтобы он собрал эти сайты. Но понял что база будет постоянно обновляться и ужасно накладно каждый месяц заново перелопачивать 1000 сайтов ради десятка новых.
nirvimel: на 100% устраивает. Вопрос в автоматизации. 1000 сайтов достаточно на первое время, но они будут обновляться и хочется иметь свежие. Вопрос в автоматизации парсинга.
Артем Морозов: Я уже приготовился рассказать о том как обходить ограничение максимальной глубины выдачи, а все оказалось намного проще.
Простая автоматизация парсинга serp - это напишет любой студент за несколько часов. Я когда-то тоже писал такое для себя самого.
Раскрою небольшой секрет: чтобы (подольше) не сталкиваться с капчей надо к фиксированному интервалу таймаута (между запросами) прибавлять рандомное число от нуля до значения этого таймаута, то есть таймаут случайным образом варьируется от 100% до 200%.
nirvimel: интересное инфо, тоже может когда нибудь для себя пригодится, а сами таймауты примерно какого порядка? например 10-20 сек норм или можно меньше?
Юрий: Видимо, это зависит (от версии движка Яндекса?) от года на календаре.
Где-то в 2009 (или около того) году: значение пять-десять секунд работало неплохо.
