Как собирают аналитику сервисы типа 2ip.ru, ipinf.ru, www.similarweb.com и др.?
Добрый день!
Интересен вопрос, каким образом, например, ipinf.ru собирает информацию о доменах расположенных на одном IP?
Есть идея, для реализации которой надо получать данную инфу в автоматическом режиме. Но мало какие сервисы предоставляют информацию посредством API, у некоторых есть API но непонятное или дорогое ценообразование. Пытаюсь понять каким образом лучше организовать этот процесс, и вообще понять первоисточники данной информации.
Предполагаю, что скачиваются списки доменов от регистраторов (они в открытом доступе)
Берутся только делегированные домены
Дальше по списку проходятся домены и резолвятся ip адреса
Всё складывается в базу и получаем необходимые привязки
Списки доменом не в открытом доступе у регистраторов, насколько я понимаю. По крайней мере, ни у одного из обследованных мною регистраторов, я такого не нашел. Спасибо
В интернетах при должном гугление можно найти гигабайтные архивы (и это в архиве) с доменами.
Пишешь dns резолвер на своём любимом языке программирования, запускаешь в 100 потоков и через несколько недель или месяцев ;) у тебя будет такая база. Которую хорошо бы еще и обновлять...
Сложный
