Как при парсинге отсеивать мёртвые сайты автоматически?

Question

[iakdrugyelena]

Всем привет!
Во-первых, огромная уважуха данному сервису и всем людям здесь, особенно тем, которые не проходят мимо и вопросов новичков!

Вопрос такой:
Есть огромная база сайтов, нужно отсеять мёртвые, брошенные, с истёкшим сертификатом безопасности...
Как это делать автоматом? Какая логика?
Куда смотреть?

Comments

[Web Dentist]

https://stackoverflow.com/questions/1087227/valida...

[IDzone-x]

А на каком яп вы хотите ето зделать ?

Answer 1

[Dimonchik]

из автомата

вначале вообще ДНС - быстро и эффективно
потом редиректы морды на рекламу
потом таймауты

ну или просто без сертификатов, но таких мало на деле

Comments

[iakdrugyelena]

потом редиректы морды на рекламу
А что вот это значит?)

[Dimonchik]

припаркованые домены