Как можно массово парсить сайты?

Question

[adreanov]

Подскажите, каким образом можно парсить сайты на наличие определенного кода/ссылки на нем?
Возможно через сервисы или собственные скрипты на сервере

Answer 1

[Василий Банников]

собственные скрипты на сервере

Answer 2

[Надим]

Яндекс и гугл умеют находить конкретные слова на конкретных сайтах. Если это какая-то общая задача используйте помощь поисковых систем.

Answer 3

[CityCat4]

С помощью рук и головы, однако

Answer 4

[Uno]

Так же, как это делают поисковые системы - с помощью веб кроулера. Он ходит по сайтам, перемещаясь между ними по гиперссылкам - этот способ хорош тем, что отсканишь абсолютно всё на что где-либо была хоть какая-то ссылка.
Либо можешь отсканировать весь диапазон ipv4 на наличие веб-сервера, скармливать каждый wget'у и найдёшь свою ссылку - этот способ хорош тем, что так можно очень быстро познакомиться с товарищем майором. Он в свою очередь поможет поменять приоритеты по жизни и цели на более реальные и целесообразные.

Отпиши потом что выбрал и каков результат! Очень интересно.