Как максимально быстро обойти 1000 сайтов и получить код ответа от главной страницы?

Question

[Радость моя]

Добрый вечер товарищи.

Есть необходимость обойти 1000 (ну около того) сайтов, и получить код ответа главной страницы, т.е. код 200 например (если все ок). Какими средствами это можно сделать максимально быстро? (сервер dedicated).

Answer 1

[Алексей Ярков]

$ wget --server-response -O /dev/null -i urls.txt

Comments

[v_cirill]

это последовательный обход.
имхо надо разбивать список сайтов на 10 частей и пускать в несколько потоков.
только хз как это делать )

[Алексей Ярков]

это последовательный обход

И че? Вы пока будете способ искать, как разбить на 10 частей, команда уже отработает.

Answer 2

[aGGre55or]

#!/bin/bash
while read domain; do
linkchecker --user-agent=MyAgent --ignore-url=^mailto: --check-html --check-css --cookies --recursion-level=1 http://$domain
done < sites

, где
sites - текстовый файл со списком сайтов, по одному домену на строку.
linkchecker - забираем здесь.