Как и где взять список сайтов работающих на HTTP?

Question

[krka92]

Как и где взять список сайтов работающих на HTTP?
Прошу поправить тэги, если что-то не так.

Answer 1

[Сергей Соколов]

Взять – у поисковиков! В Google есть поисковый оператор inurl:

поисковый запрос авто -inurl:https
найдёт сайты по ключевому слову «авто», в адресе которых отсутствует "https", т.е. которые работают без HTTPS.

Попробовать

Почему-то из документации по поиску упоминания этого и других поисковых операторов уже выпилили. Остались упоминания на сторонних сайтах.

Answer 2

[Keffer]

Никак и нигде. Их почти уже нет, единицы считанные остались. Все остальные работают на https

Comments

[krka92]

Ну в этом и проблема, что их единицы. Может есть какой-то способ.

[Keffer]

krka92, Зависит от того что в конечном итоге нужно, для чего это все?

[Roman K]

Keffer, да взламывать он их собрался, понятно же

[Сергей Горностаев]

Я бы не был так уверен, про единицы.

[krka92]

Keffer, протестировать кучу запросов именно к http. И желательно к разным ресурсам

Answer 3

[AUser0]

Здесь смотрите: https://www.google.ru/search?newwindow=1&num=100&q...

Comments

[Сергей Соколов]

нет. все ссылки с первой страницы результатов – по HTTPS.

Answer 4

[granty]

Только выпарсить всю базу зарегистрированных доменов, и просканировать их. На Хабре сканировали 20 млн доменов, есть исходники на гитхабе.

У Google есть ограничение выдачи, удастся посмотреть только первые 300-400 сайтов, ибо далеко листать он не даёт (я даже не говорю о капче).

Answer 5

[Вадим]

https://www.google.com/search?q=http+only+websites...

Вот гугл запрос

Answer 6

[nehaeve]

Есть вот здесь: https://domengood.ru/download/domaindata/

Неудобно только, что разбито по зонам. Как вариант, скачать все зоны и достать сайты с http. Всяко быстрее, чем сканировать. Вроде, можно выборку заказать за деньги, но не пробовал.

Answer 7

[Dimonchik]

брать три года назад надо было тут
https://opendata.rapid7.com/

их действительно как бы не около половины, ВНЕЗАПНО
другое дело что скорее имелось в виду домен поддерживал и http и https

теперь баps зыкрыты и дают по блату непонятно кому