Какой сервис может помочь спарсить SEO-выдачу по запросу в точном соответствия?

Question

[Артем Морозов]

Нужно собрать список сайтов (яндекс выдал всего 1 000) по запросу в "!точном !соотвествии"
Хотел сначала нанять человека, чтобы он собрал эти сайты. Но понял что база будет постоянно обновляться и ужасно накладно каждый месяц заново перелопачивать 1000 сайтов ради десятка новых.

Может есть какой-то софт или сервисы?

Comments

[nirvimel]

Так выдача яндекса/гугла устраивает и проблема только в автоматизации ее парсинга или 1000 сайтов недостаточно?

[Артем Морозов]

nirvimel: на 100% устраивает. Вопрос в автоматизации. 1000 сайтов достаточно на первое время, но они будут обновляться и хочется иметь свежие. Вопрос в автоматизации парсинга.

[nirvimel]

Артем Морозов: Я уже приготовился рассказать о том как обходить ограничение максимальной глубины выдачи, а все оказалось намного проще.
Простая автоматизация парсинга serp - это напишет любой студент за несколько часов. Я когда-то тоже писал такое для себя самого.
Раскрою небольшой секрет: чтобы (подольше) не сталкиваться с капчей надо к фиксированному интервалу таймаута (между запросами) прибавлять рандомное число от нуля до значения этого таймаута, то есть таймаут случайным образом варьируется от 100% до 200%.

[Юрий]

nirvimel: интересное инфо, тоже может когда нибудь для себя пригодится, а сами таймауты примерно какого порядка? например 10-20 сек норм или можно меньше?

[nirvimel]

Юрий: Видимо, это зависит (от версии движка Яндекса?) от года на календаре.
Где-то в 2009 (или около того) году: значение пять-десять секунд работало неплохо.

Answer 1

[KingAnton]

Посмотрите в сторону Key Collector

Comments

[Артем Морозов]

Он у меня куплен, но я как-то не видел там таких инструментов.