Как выкачать все домены в какой-нибудь зоне, например, .ae?

Question

[Сергей]

Можно перебрать по словарю или полным перебором, проверить по who is или просто подключиться на 80 порт, но это долго и что-то мне подсказывает, что есть способ быстрее и лучше. В интернете есть базы, но они платные, может я плохо ищу и можно просто посмотреть полный список где-то легко и просто?

Answer 1

[pcdesign]

Я когда то столкнулся с похожей задачей.
Мне надо было выявить все 6 символьные домены в зоне .com
Действовал по такому плану:

1) Накидал на go программу, которая собрала мне все возможные комбинации, получилось ~ 2.4 млрд доменов

2) Написал на go многопоточную программу, которая опрашивала их. В первую очередь, конечно по DNS, если есть ответ по DNS, то нет смыла насиловать whois. Но с DNS тоже не все так просто, после определенного кол-ва запросов DNS начинает думать, что ее ддосят и может начать тупить. Так что я собрал список всех возможных вариаций публичных днс-серверов + то что дал провайдер и опрашивал их рандомно.

3) Если по dns не было ответа, то тогда обращался к whois, через кучу разных проксей и сокетов, ибо они банят очень быстро. Так как whois еще более капризный чем DNS. Мало того, whois может еще и обманывать, выдавать, что домен свободен, а реально он занят. И приходилось юзать API некоторых регистраторов для проверки.

Если мне память не изменяет, где-то за неделю собралась база данных.
Было это где-то 3 года назад, не знаю, может что-нибудь поменялось с тех пор.

Answer 2

[Saboteur]

Вам следует почитать про то, как работает DNS и нейм сервера, чтобы поняьт что единого списка доменов не существует и быть не может, ибо так работает технология - пока ты не обратился к конкретному домену, тебя не направили по цепочке к конкретному NS-у, ты не узнаешь, есть ли такой домен, особенно если это касается доменов третьего и выше уровней.
Все "базы доменов" это как раз варианты, когда кто-то перебрал, нагуглил, напарсил. При этом они явно будут неполные. Вопрос только в том, насколько вам этого достаточно.

Comments

[pcdesign]

Я могу зарегать домен, но не прописывать при этом DNS записи.

[Saboteur]

pcdesign,
Не совсем так. DNS записи пропишутся у регистратора, а при записи необходимо указать два NS сервера, отвечающие за ваш домен.
Просот сами NS сервера могут ничего не содержать

Answer 3

[CityCat4]

Можно выкачать файл зоны, но только в том маловероятном случае, если владелец зоны не закрыл AXFR/IXFR списком адресов, с которых это можно делать.

Иначе - никак.

Comments

[sim3x]

А насколько маловероятен случай?
И закрыт ли он по-умолчанию в бинде или других распространенных серверах днс?

[CityCat4]

sim3x, Как говорит книга, по умолчанию как раз разрешено всем, так что случай зависит от криворукости и тормознутости админа. Для отключения этой так сказать "фичи" нужно либо в описание зоны либо в описание обзора (view) добавить опцию:

acl nicservers1 { 9.1.1.1/28; 1.1.2.3; };
acl nicservers2 { 1.8.1.7; 1.4.4.4; };
allow-transfer { nicservers1; nicservers2; };

(acl добавляется в начале файла, а allow-tansfer в view или zone)

[Руслан Федосеев]

ну с учетом того, что вообще это коммерческая информация - то скорее всего закрыто )

[Dimonchik]

мда, самый близкий к истине ответ и не отмечен...

впрочем, кактусы не только в текилу

Answer 4

[Dimonchik]

в оригинале все бесплатно

ищите, откуда берут платные