Где можно получить список сайтов по домене верхнего уровня?

Question

[Honeyloy]

Я хочу получить список сайтов которые существуют в общедоступном пространстве интернета с конкретным доменом верхнего уровня, вроде .ru , .gov , .tv. В каждом домене могут существовать тысячи сайтов и мне интересно посмотреть какие существуют сайты в разных доменах верхнего уровня.

Наверняка для подобной задачи уже существует сервис, но я не могу найти что то подобное.

Comments

[akelsey]

их очень много, они будут просто огромными, зачем вам эти списки? (тем более их вряд ли кто даст).
используйте nslookup в консоли или сервисы whois что бы проверить на занятость.

[Honeyloy]

akelsey, Да я на этом сайте узнал что половина всех зарегистрированных сайтов носят домен .com , а у остального большинства даже 0.1% не набирается, вот мне и стало интересно посмотреть на не популярные домены.

[shurshur]

Honeyloy, что мешало погуглить? Не по всем зонам можно достать списки, но ру/су/рф без проблем, например, https://searchengines.guru/ru/forum/970313

[CityCat4]

shurshur, Пост пятилетней давности, ссылки не протухли? И списки там только от руцентра

[shurshur]

CityCat4, да, там внизу темы есть не только руцентр. Я проверил, что таймстампы скачиваемых файлов свежие.

Answer 1

[RoundRobin]

Списки всех зарегистрированных доменов .ru / .рф / .su можно скачать бесплатно (обновляется ежедневно, публикуемые данные там берутся из реестра):

https://reghouse.ru/tools/ru_domains_reghouse.gz
https://reghouse.ru/tools/rf_domains_reghouse.gz
https://reghouse.ru/tools/su_domauns_reghouse.gz

Списки всех доменов в зонах .TV и .GOV вcтречал в свободном доступе только платно, например здесь продают:

https://zonefiles.io/list/tv/
https://zonefiles.io/list/gov/

Но вероятно можно запросить доступ к файлам зон напрямую в реестрах в исследовательских целях, по аналогии как например для .COM/.NET/.NAME - https://www.verisign.com/en_US/channel-resources/d...

P.S. Если кому-ту списки дропов (освобождаемых с конкретный день доменов) .RU/ .РФ/ .COM/ .NET интересны, тоже есть бесплатно (даты с именах файлов можно менять, формат YYYYMMDD):

https://reghouse.ru/tools/rudroplist20230117_regho...
https://reghouse.ru/tools/rfdroplist20230117_regho...
https://reghouse.ru/tools/comnetdroplist20221122_r...

Answer 2

[CityCat4]

Нигде. Потому что "доменное имя" до своей регистрации не существует - следовательно их невообразимое число. Кому нужно такие списки вести?

Проверить имя на занятость можно у любого регистратора.

Answer 3

[Vic77]

Все .ru домены доступны бесплатно с обновлениями тут - https://reghouse.ru/tools/ru_domains_reghouse.gz
А вот если нужны данные и по другим доменным зонам, то тут уже сложно и не найдешь что-то более-менее свежее бесплатно. Если за деньги, то можно найти на https://domains-monitor.com