Какой самый быстрый способ проверить доступность сайтов?

Есть 250 млн доменов. Нужно весь этот список проверять раз в сутки. Какой есть готовый софт? Есть 5 вдс с гигабитным каналом.
Необходимо удостовериться в том, что главная страница доступна и не редиректит куда либо
  • Вопрос задан
  • 534 просмотра
Пригласить эксперта
Ответы на вопрос 3
ky0
@ky0
Миллиардер, филантроп, патологический лгун
Задача какая-то то ли выдуманная из головы, либо впезапно энтерпрайзного порядка. Возникают закономерные вопросы - откуда взялись эти 250 миллионов? Зачем проверять их все? Зачем делать это ежедневно?

Присоединюсь к предыдущим ораторам - сделать можно по-разному, хоть кёрлом в много потоков. Но ответы же надо куда-то складывать, полученные данные нужно как-то обрабатывать, демонстрируя статистику и т. д.

Короткий ответ: "готовый софт есть - любой, способный совершить HTTP-запрос, получив код ответа".

P.S. - 300-ые коды ответа не свидетельствуют о недоступности домена, имхо, их тоже нужно учитывать.
Ответ написан
ipatiev
@ipatiev
Потомок старинного рода Ипатьевых-Колотитьевых
Это не вопрос ли на собеседовании в бадушечке?

Грубо, 125М на ноду, 86к секунд в сутках, получается полторы тыщи хостов в секунду.
Если взять среднее время отклика в пол-секунды, то надо от 700 параллельных процессов.
А уж кто там крутится - без разницы, тупо курл.
Ну и диспетчер, который будет всем этим управлять.

Хотя вру. какие пол-секунды. Мы ж доступность проверяем, то есть какая-то часть будет упираться в таймаут => процессов сильно за тыщу. Боюсь, вдс лопнет.

В общем, ответ как обычно - наймите специалиста/сервис
Ответ написан
@Kirill-Gorelov
С ума с IT
Попахивает обманочкой))
Потому что на сегодня существует 220 895 309 доменов во всех зонах.

Ну это ладно.
А вообще я решал подобную задачу. Код не дам, потому что я бросил эту идею.
https://qna.habr.com/q/1023898
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы