Как открыть все ссылки в несколько сайтах?

Question

[Хангелды Илебаев]

Нужно открыть 150 сайтов и в них проверить все ссылки . Реально так сделать ?

Answer 1

[Antony]

Просто открыть? Да реально, а что вы ожидаете там увидеть?

Comments

[Хангелды Илебаев]

просто проверка на битые ссылки

[Antony]

Хангелды Илебаев: На любом удобном вам языке.

[Хангелды Илебаев]

Antony: есть статья на js или слово которая нужно загуглить? Не могу подходящий вопрос задать. А тесты пишутся на Karma, Jasmine ?

[Antony]

Гуглите: "Парсинг веб-страницы" (на предмет ссылок). Также гуглите как открыть страницу на выбранном вами языке (я бы взял тот ЯП, что уже умеет пользоваться http/https чтобы самому это не реализовывать, например тот же php)

[Antony]

Ну а PHP предложил просто по тому, что представляю как он выглядит. Не факт что это лучший выбор. Гуглите чем бы открыть страницу через http.

Answer 2

[Сергей Блохин]

Реально.
Пишется паук на любом языке.
phantomjs, nodejs, spidr, crawl и т. д.