Русскоязычные сайты в других доменных зонах, как найти?
Есть задача, найти все русскоязычные сайты и пройтись по ним пауком для сбора определенных статистических данных.
Для доменных зон ru рф su, все просто, можно найти в сети реестры доменных имен, но для других доменных зон это уже проблема, а у нас в рунете не мало русскоязычных сайтов с доменной зоной com.
Как быть? как Найти хотя бы для зоны com русскоязычные сайты?
Есть ли где-то реестры или базы данных? Гугл не помог)
Эмпирикой, я думаю. Берется домен из зоны .ru и пробегается проверка по другим ходовым TLD. Или другой способ - берется просто любое русское слово, транслитерируется и пробегается по ходовым TLD. Это конечно поиск вслепую, но в общем случае никому и не нужно такие списки составлять...
Есть огромное количество сайтов в доменах третьего уровня, которых нет в доступных списках доменов. И в целом далеко не всякий сайт даже в поисковиках находится, не говоря уже о том, чтобы их кто-то каталогизировал. Задача в общем случае неразрешимая.
Но можно пытаться бороться за эффективность охвата аудитории при неполном наборе сайтов. Понятно, что большинство популярных сайтов имеют домен первого уровня в русских зонах, туда можно добавить популярные сайты из всяких рейтингов типа alexa. В целом уже будет немало информации.
Средний
Простой
