Какой самый быстрый способ проверить доступность сайтов?

Question

[Никита Каменев]

Есть 250 млн доменов. Нужно весь этот список проверять раз в сутки. Какой есть готовый софт? Есть 5 вдс с гигабитным каналом.
Необходимо удостовериться в том, что главная страница доступна и не редиректит куда либо

Comments

[Сергей Соколов]

одна VDS должна проверять 5e7 доменов за 86400 с — это порядка 600 доменов в секунду — маловероятно, отвечать могут долго, вдруг там сервер тормозит.

Делать HEAD запросы, смотреть статус ответа: 200 или иной и есть ли заголовок Location.

[Никита Каменев]

Сергей Соколов, какие в принципе есть готовые софты, если не брать во внимание время и мощности?

[Сергей Соколов]

Никита Каменев, готовый софт вряд ли совпадёт с вашими требованиями — откуда брать список, куда пихать результаты проверок. Нужен максимально легкий HTTP клиент, даже может не curl, там много лишнего, а простого TCP сокета хватит.
Проверка состоит из двух «длинных» запросов: получение IP адреса из имени, и получение ответа сервера по тому адресу. Их можно разнести, имена пробивать чуть заранее.
В общем, я бы писал что-то своё, а не искал готовое. Определял узкие места и оптимизировал их.

Answer 1

[ky0]

Задача какая-то то ли выдуманная из головы, либо впезапно энтерпрайзного порядка. Возникают закономерные вопросы - откуда взялись эти 250 миллионов? Зачем проверять их все? Зачем делать это ежедневно?

Присоединюсь к предыдущим ораторам - сделать можно по-разному, хоть кёрлом в много потоков. Но ответы же надо куда-то складывать, полученные данные нужно как-то обрабатывать, демонстрируя статистику и т. д.

Короткий ответ: "готовый софт есть - любой, способный совершить HTTP-запрос, получив код ответа".

P.S. - 300-ые коды ответа не свидетельствуют о недоступности домена, имхо, их тоже нужно учитывать.

Comments

[Ипатьев]

ну он пишет что "не редирект", так что 300 отбрасываем

[Никита Каменев]

250 млн доменов это все домены .ком которые мне удалось собрать. Раз в сутки возможно я переборщил, но мне нужно просто иметь всегда актуальные данные. Раз в пару суток, раз в максимум неделю

[Сергей Соколов]

Ипатьев, редирект ведь может быть со статусом 201 и заголовком Location

[Ипатьев]

Сергей Соколов, Хм. Не сталкивался. Ну тогда 201 тоже отбрасываем
Впрочем, вряд ли можно в принципе в ответ на HEAD получить Created :)

Answer 2

[Ипатьев]

Это не вопрос ли на собеседовании в бадушечке?

Грубо, 125М на ноду, 86к секунд в сутках, получается полторы тыщи хостов в секунду.
Если взять среднее время отклика в пол-секунды, то надо от 700 параллельных процессов.
А уж кто там крутится - без разницы, тупо курл.
Ну и диспетчер, который будет всем этим управлять.

Хотя вру. какие пол-секунды. Мы ж доступность проверяем, то есть какая-то часть будет упираться в таймаут => процессов сильно за тыщу. Боюсь, вдс лопнет.

В общем, ответ как обычно - наймите специалиста/сервис

Comments

[Никита Каменев]

Ипатьев, какие в принципе есть готовые софты, если не брать во внимание время и мощности?

[Ипатьев]

курл

[Никита Каменев]

Ипатьев, смысл ваших ответов? вы думаете я не знаю о курле, о асункио и тд? Мне нужен готовый асинхронный софт, а ваш выпедрешь про баду и курл мне кажется лучше оставить в паблике типичный программист или в комментариях к курсам попова. Всего хорошего

[Ипатьев]

Никита Каменев, так я ж к этому и веду. Нужно готовое - время обратиться к услугам специалистов.

[Никита Каменев]

Ипатьев, Ипатьев у меня есть софт который я написал на асункио, меня не устраивает его работа и поэтому я задаю здесь вопрос, который вы похоже в упор не видите. ГОТОВЫЙ СОФТ на гите, или где либо еще, чтобы просто сравнить скорость работы. Я думаю вам реально поможет мой совет выше, вы не на том сайте сидите, раз так пытаетесь отвечать на впоросы пользователей. Попробуйте паблики в вконтакте, там я думаю ваша целевая аудитория.

[ky0]

Никита Каменев, так вы обвиняете людей, которые предлагают хоть какие-то варианты, в плохой работе вашего софта или чего? :)

Приведите цифры - что вы сделали, как, и с какой производительностью оно молотит в 1 поток, 2 и т. д, тогда и не будет так бесящих вас "ответов про кёрл".

[Александр Карабанов]

Никита Каменев, так поищи на GitHub.

[Ипатьев]

Возможно.
А возможно сайт ОК, да пользователи не те.

[Никита Каменев]

Александр Карабанов, поискал. одно говно, которое работает похоже только во время ретроградного меркурия. Но я не верю, что такой по сути нужный софт не лежит где нибудь на гите с кучей звезд, все что мне попадалось самоделки написанные за сутки

[Ипатьев]

Да, конечно, софт по проверке офигиллиарда доменов за 6 секунд бесплатно лежит на гитхабе. Где ему ещё-то быть? И десяток старательных халдеев его старательно поддерживают, мгновенно исправляя баги и вежливо отвечая на запросы пользователей.
Ведь open source на русский переводится как "халява для меня персонально". А за чей счет - это нам не интересно.

[Александр Карабанов]

Никита Каменев, кому нужен такой софт? Паре человек в интернете?

Вот тебе статья Как просканировать весь интернет может натолкнёт на мысли, как усовершенствовать твоё решение.

А потом ты сможешь опубликовать исходники на GitHub ;-)

[Ипатьев]

Александр Карабанов, причем этот сканер просто устанавливает наличие открытого порта, и, судя по картинке, проверяет 100К адресов в секунду, а не проверяет ответ вебсервера

[shurshur]

Никита Каменев, вообще-то в данной истории проблему представляет не столько сам софт, сколько инфраструктура, которую придётся готовить. Потребуется сооружать кластер из виртуалок/серверов, управление процессом раздачи заданий и всё такое. Пяти виртуалок на это точно не хватит, ведь минимум секунду от каждого сервера надо будет ждать ответа.

Готового такого инструмента, разумеется, не найти. Можно попробовать нанять кого-нибудь, кто всё это организует. Но в целом задача выглядит как идиотская. Непонятно, зачем нужно знать живость 250 миллионов совершенно никак не связанных между собой сайтов, значительная часть которых - просто мусор всякий.

[spaceatmoon]

shurshur, Тут мне кажется история несколько иная. Вначале ты делаешь быстрого бота на обход 250 млн сайтов, потом сужаешь до 1 сайта и устраиваешь ddos Васе Пупкину.

[Ипатьев]

spaceatmoon, да ладно. каким местом это будет ddos-то?
А с dos-ами давно уже все борются на автомате.

[spaceatmoon]

Ипатьев, отражение левых запросов всё равно требует от сервера вычислительных мощностей. Для слабого сервера это кошмар. Тут только если ставить сторонние решения, а они могут стоить копеечку. Тем более для игровых серверов такой формат бесплатно мне кажется вряд ли можно найти, у бесплатных канал может быть всего 1MB/sec.

Да и прям на "автомате" ничего не отсекается.

[shurshur]

spaceatmoon, сузить до одного сайта можно гораздо быстрее просто выбором случайного сайта в интернетах :)

[Ипатьев]

spaceatmoon, ну тоже верно.

[html_newbie]

shurshur, думаю ТС хочет мониторить существующие сайты чтобы скупать домены в случае просрочки оплаты. но он возможно не знает что это сделать не так то просто. насмотрелся историй про просрочку оплаты гугла или фейсбука, но там были баги хостера. в случае повторении такого бага, у ТСа выкупленный домен просто отнимут. а в случае просто просрочки большинство хостеров какое-то время (с месяц) не дает перекупить домен.

[Ипатьев]

html_newbie, а смысл мониторить в этом случае весь офигиллиард? Ну освободится какой-нибудь vassily-poupkine.edu - и что? Сразу бежать его регать на себя?

[html_newbie]

Ипатьев, ага, а потом писать Васе что готов вернуть ему его любимый домен за нескромное вознаграждение.

[Ипатьев]

html_newbie, вы это сейчас серьёзно?

[html_newbie]

Ипатьев, ага, раскрыл тайный замысел ТСа.

[shurshur]

html_newbie, из этих хреналионов какую-то ценность представляют доли процента доменов. Остальные перекупать смысла нет никакого.

И проверять существование сайта на домене для этого вообще нет смысла.

Answer 3

[Кирилл Горелов]

Попахивает обманочкой))
Потому что на сегодня существует 220 895 309 доменов во всех зонах.

Ну это ладно.
А вообще я решал подобную задачу. Код не дам, потому что я бросил эту идею.
https://qna.habr.com/q/1023898

Comments

[spaceatmoon]

домены ниже 2 уровня учитываются?

[Кирилл Горелов]

spaceatmoon, на самом деле точно не скажу, но по идеи только первого уровня.

[Sergiu Mitu]

Кирилл Горелов, откуда такая инфа? число крайне мало ведь в прошлом году было уже больше 350мл

[Кирилл Горелов]

Sergiu Mitu, https://domains-monitor.com/domainzones/ этот сервис получает инфу от всех dns.
И был еще какой-то официальный сайт, там тоже показывалось такое же число. Сейчас уже не вспомню его.