Задать вопрос
@iakdrugyelena

Как при парсинге отсеивать мёртвые сайты автоматически?

Всем привет!
Во-первых, огромная уважуха данному сервису и всем людям здесь, особенно тем, которые не проходят мимо и вопросов новичков!

Вопрос такой:
Есть огромная база сайтов, нужно отсеять мёртвые, брошенные, с истёкшим сертификатом безопасности...
Как это делать автоматом? Какая логика?
Куда смотреть?
  • Вопрос задан
  • 159 просмотров
Подписаться 2 Простой 2 комментария
Ответ пользователя Dimonchik К ответам на вопрос (1)
dimonchik2013
@dimonchik2013
non progredi est regredi
из автомата

вначале вообще ДНС - быстро и эффективно
потом редиректы морды на рекламу
потом таймауты

ну или просто без сертификатов, но таких мало на деле
Ответ написан