Парсинг сайтов по критериям, база сайтов с критериями где найти?

Question

[Alexander]

Задача – собрать базу сайтов рунета, СНГ по следующим критериям:
1. Отсутствие SSL на сайте.
2. Отсутствие корпоративной почты (почта с доменом сайта), в контактах на сайте указаны ящики типа [e-mail] [e-mail] и т.п.
3. Отсутствие какой либо CMS для этого сайта, этот критерий не основной.

Answer 1

[Иван Шумов]

Задача состоит из нескольких частей:
1. Сбор списка доменов и информации и них
2. Анализ страниц сайта

Давайте подробнее:

1. Сбор списка доменов и информации и них

Ну, данной базы не существует в природе. Это можно понять просто из информации о том как работает DNS. Можно, конечно, начать перебирать все доменные имена по порядку, но даже имея бесконечное число proxy с учетом всех возможных комбинаций - это займет вечность, да и эта информация постоянно меняется. Можно пойти другим путем и стать Google. Стоимость того и другого подхода, думаю, можно представить - триллионы долларов

2. Анализ страниц сайта

Есть готовые инструменты, у некоторых, возможно, даже есть API (в противном случае писать мучительные парсеры и их актуализировать + много прокси и все в таком духе). Можно написать свой инструментарий, но над этим вообще люди работают месяцами и постоянно дорабатывают. В принципе, идея базу доменных имен собрать эту информацию уже можно, но время ее процессинга займет еще больше времени ибо dig/whois это одно, а парсинг или api это уже совсем другое

В общем, не советую

Comments

[Сергей Карбивничий]

Есть полная бесплатная база доменов ru(почти 5 млн). Также есть Базы доменов по зонам (платно)

[Иван Шумов]

Сергей Карбивничий, она никогда не бывает актуальная. Да, люди занимаются сбором потомной информации но каждый день регистрируются одни домены и умирают другие. Это происходит прямо сейчас пока мы с вами общаемся)

[Иван Шумов]

Сергей Карбивничий, К тому же, рунет и СНГ это абстрактные понятия. Я знаю ряд зон, которых просто нет в этом списке, а в них много русскоязычных сайтов

[Сергей Карбивничий]

Иван Шумов, Как раз база ru актуальная. Сейчас найду.

[Иван Шумов]

Сергей Карбивничий, зона .RU лишь одна из многих) да и я сейчас пойду и зарегистрирую новый домен дам и сколько времени он будет там появляться? Неизвестно

[Alexander]

Иван Шумов, 100% актуальность не нужна

[Alexander]

Сергей Карбивничий, Как получить эту базу беспатную?

[Сергей Карбивничий]

Alexander, Российская зона,остальные зоны недоступны.

[Alexander]

Сергей Карбивничий, более чем достаточно.

Answer 2

[mayton2019]

Я не согласен с первым критерием

Отсутствие SSL на сайте.

В настоящее время все переходят на http(s) (SSL) протокол. С тотальной сертификацией доменных имен. И поэтому нешифрованные сайты не то что-бы будут отсутствовать а скорее их общее количество будет стремительно уменшьаться.

Поэтому и задача еще и усложняется просто поиском этих дохликов которые не могут сдохнуть по причине технической отсталости.

Вот такие мысли.

Comments

[Alexander]

ну это не обязательный критерий, как и 3 ий.
Самый важный для меня второй. а потом можно делать вариации.

[mayton2019]

А как ты определишь отсутствие ЦМС.

Ты знаешь что даже для науки доказать отсутсвие - это самая сложная задача. Это как атеисту доказать что бога нет.

[Alexander]

mayton2019, ну зачем так все идеализировать.
Отсутствие признаков обще известных CMS для меня вполне достаточно.

[mayton2019]

А сколько их (примерно) ?

[Alexander]

mayton2019,
Не знаю, думаю что много.
Но есть же возможность использовать сервисы типа:
https://webdatastats.com/ru

[mayton2019]

Каким образом это отвечает на вопрос?

Нельзя в техническом задании указывать ссылки на другие ресурсы. И кванторы бесконечности.

У тебя не будет definition of done.