Dimonchik

только для html страниц

эмпирически

1) отпарсить скрапи без исключений в рамках домена
2) дойти до 404 по возрастающему ID
3) ну и сайтмеп

больше ничего не придумали

проверьте IP в блеклистах
ну и ждите, левые домены Гугл не спешит обычно

перебором

есть, в гугл надо же что-то постить

неважны
но ластмод можно на всякий всунуть

https://xn--80aaoskidbsbuv.xn--p1ai/robots.txt тут конечно страх

что хост что сайтмэп

менять хост или скрипт

как закодили, так и выдается

но в целом странно что нет изменений

сайтмап нужен

дальше берется конкурент , с траффиком, и дублируется что сделано у него

логи и отладка

браузер смени

проще прогера

варианты:
1) пройтись по роутеру
2) взять из логов

сайтмапов может быть несколько, но надо понимать, что именно ты ими сообщаешь поисковику

проще всего - Scrapy
дешевле всего - Wget, после Wget все равно обрабатывать + однопоточность + хз какой алгоритм краулинга