Русскоязычные сайты в других доменных зонах, как найти?

Question

[E N]

Есть задача, найти все русскоязычные сайты и пройтись по ним пауком для сбора определенных статистических данных.
Для доменных зон ru рф su, все просто, можно найти в сети реестры доменных имен, но для других доменных зон это уже проблема, а у нас в рунете не мало русскоязычных сайтов с доменной зоной com.
Как быть? как Найти хотя бы для зоны com русскоязычные сайты?
Есть ли где-то реестры или базы данных? Гугл не помог)

Answer 1

[CityCat4]

Эмпирикой, я думаю. Берется домен из зоны .ru и пробегается проверка по другим ходовым TLD. Или другой способ - берется просто любое русское слово, транслитерируется и пробегается по ходовым TLD. Это конечно поиск вслепую, но в общем случае никому и не нужно такие списки составлять...

Answer 2

[shurshur]

Есть огромное количество сайтов в доменах третьего уровня, которых нет в доступных списках доменов. И в целом далеко не всякий сайт даже в поисковиках находится, не говоря уже о том, чтобы их кто-то каталогизировал. Задача в общем случае неразрешимая.

Но можно пытаться бороться за эффективность охвата аудитории при неполном наборе сайтов. Понятно, что большинство популярных сайтов имеют домен первого уровня в русских зонах, туда можно добавить популярные сайты из всяких рейтингов типа alexa. В целом уже будет немало информации.