Как проверить множество сайтов на наличие слов?

Question

[Эдуард]

Добрый день. Подскажите пожалуйста, как возможно проверить 16000 сайтов на наличие некоторых слов на главной странице ? Автоматизировано. То есть, чтобы робот зашёл на главную страницу сайта, проверил на наличие нужного слова, если нашёл, то отметил этот сайт, потом следующий сайт и т.д.

В общем задача - найти в списке сайтов те сайты, в которых содержится нужное слово.

Answer 1

[Ken Jee]

Написать робота, например на php. Который будет бегать по базе ваших адресов, считывать и анализировать их содержимое. Как бы вот.

Comments

[Эдуард]

ну такое я знаю, мне бы готовое решение.

[Эдуард]

Фарход Данияров, во сколько можно оценить такой скрипт ?

Answer 2

[Александр Пожарский]

curl $HOMEPAGE$ | grep $KEYWORD
echo $?