Как выяснить про домен бесплатно или может платно?
Есть сайт, на который прилетают доменные имена в виде доменов или просто названий сервиса, типа telegram. А нужно определять полезный это домен или нет. Есть на нем контент или нет. Или есть в домену доверие (pr, индекс цитирования или т.п.).
Как лучше проверять входящие домены? Может, есть сервисы? Нужно просто отсеять всякие однодневки и оставить те домены, которые реально имеют какой-то вес? Фоновый многопоточный чекер имеется, но каким образом можно проверять как можно дешевле, ведь таких как он может быть сотни тысяч? Я так вижу, что запускать парсер на каждый домен в виде очереди. Потом через прокси чекать этот домен через сервисы, которые предоставляют информацию о доменах. Или яндекс-api использовать?
