Чем проверить много сайтов на доступность?

Question

[Сергей Карбивничий]

Есть список сайтов(over 15k). Нужна программа, в которая проверит каждый сайт на доступность, и вернет информацию по каждому сайту(вернее, что каждый сайт возвращает), например: код ответа(200,404 и т.д.), или что сайта такого нет.(Что-то наподобие прокси-чекера, но для сайтов)
Нашел программу Xenu, но она проверяет весь сайт целиком, мне же нужно только главную страницу(или проще - отсеять неработающие сайты)

Answer 1

[Денис Сечин]

Цикл фор а в нем курл запрос

Comments

[Сергей Карбивничий]

Есть такая идея(простой софт люблю писать сам на Python). Написать самому не проблема. Проблема - отладить.

[Everything_is_not_so_bad]

Слишком просто. А где машинное обучение?

[Денис Сечин]

Сергей Карбивничий, а что там отлаживать? Скрипт в две строки будет

[Денис Сечин]

Роман Мирр, может ещё нейросеть?

[Сергей Карбивничий]

Денис Сечин, Немного больше, ведь желательно многопоточность прикрутить.

[Денис Сечин]

Сергей Карбивничий, тогда ещё кубернетс с контейнерами зацепи

Answer 2

[Dimonchik]

в XENU есть же список УРЛов
https://documentation.help/Xenu-Link-Sleuth/urllis...
я не помню - там глубину можно указывать? возьмите ноль или 1

ну а так классика:
https://stackoverflow.com/questions/6136022/script...