Многопоточный чекер содержимого огромного количества сайтов. Есть ли такое под Linux?

Question

[m0ody]

Требуется пройтись по огромному списку сайтов и просмотреть, встречается ли нужная мне строка на странице. Есть ли такое под Linux? Или придется самому написать?

Answer 1

[jcmvbkbc]

Скрипт с использованием wget и grep?

Comments

[Сергей]

Это тяжело и долго запускать для каждой страницы процесс только чтобы загрузить страницу.

[jcmvbkbc]

@begemot_sun зато это примерно две строчки кода, и через 5 минут будет понятно, действительно ли это тяжело и долго, или можно просто немного подождать.

Answer 2

[Сергей]

Вам нужно пользоваться многопоточным парсером. Для этого по существу подходят любые языки, но если вам нужна простота и многопоточность из коробки (десятки тысяч скачиваний параллельно), то Erlang будет незаменим.

Каких либо средств не знаю. Может что подскажут еще.

Answer 3

[Пума Тайланд]

скрипт на 10 строчек
да надо писать самому