Почему после восстановления сайта (после взлома), роботы гугла продолжают ломиться по левым адресам левых карт сайта?

Взломали сайт на WordPress, насоздавали каких то левых страниц и карт сайта вида /sitemap_index_5.xml
Сайт восстановлен и в robots.txt эти карты сайта не указаны, но судя по логам сервера, с IP адресов от гугла до сих пор происходят обращения к несуществующим картам сайта. Записи типа таких:
66.249.69.1 - - [13/May/2021:17:49:51 +0300] "GET /blucher12.xml HTTP/1.0" 404 15007
66.249.69.6 - - [13/May/2021:18:06:30 +0300] "GET /sheepshank35.xml HTTP/1.0" 404 15009
66.249.69.1 - - [13/May/2021:18:12:05 +0300] "GET /uglifruit13.xml HTTP/1.0" 404 15009

В сервисе 2ip.ru/whois/ посмотрел этот айпишник и там видно название провайдера: Google LLC, хост: crawl-66-249-69-1.googlebot.com
На сколько я понимаю, боты гугла лезут в эти несуществующие карты сайта, но почему и как это исправить?
  • Вопрос задан
  • 56 просмотров
Решения вопроса 1
DevMan
@DevMan
потому что они в памяти у Гугла.
если вычистили, и эти урлы отдают ошибки, то со временем гугл выкинет их из своего списка.
Ответ написан
Пригласить эксперта
Ответы на вопрос 1
dimonchik2013
@dimonchik2013
Виталий Наливкин
ты, главное, избавляйся от мысли, что "Гугл начинает искать по сайтам интернета" только после того как введешь запрос - такое девочки на курсах для поваров рассказывают - Гугл ищет по тому, что сохранил у себя

тогда появится и начальное понимание работы краулеров, а там глядишь - и SEO

проще говоря - что ты там у себя наколдовал - Гуглу не указ
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы