Здравствуйте, помогите найти решение как избавиться от 404 ошибок на Wordpress и Woocommece
Сайт - пиксель.com
Каждый день вижу что Яндекс пытается индексировать товары где в конце адреса /href, не могу понять откуда могут браться такие адреса.
SEO плагин - Rank Match SEO
При тестах в программе WebSite Auditor тоже видны адреса товаров с /href в конце URL
Задал в robots.txt такую директиву - Disallow: /*href (незнаю, поможет ли?)
Ответ Яндекса:
Здравствуйте, Станислав!
По-видимому, робот где-то на вашем сайте или в интернете обнаружил ссылки на страницы по таким адресам, поэтому попытался их проиндексировать. Робот автоматически пытается посетить каждую страницу, ссылка на которую ему известна. К сожалению, установить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку в нашей базе не хранятся такие данные. Они могли появиться в базе робота по следующим причинам:
на указанные страницы ведут или вели ранее внешние ссылки.
Вы можете проанализировать входящие ссылки на страницы при помощи общедоступных инструментов:
https://yandex.ru/search/?text=проверка%20внутренн...
некорректно указаны относительные ссылки, отсутствует тег .
Проверьте, присутствует ли тег на всех страницах сайта и убедитесь в корректности указанных ссылок;
имеются ошибки на стороне CMS или "движка" сайта.
В этом случае мы рекомендуем обратиться к разработчикам CMS или поискать информацию на специализированных форумах;
страницы могли появиться на сайте в результате его взлома, возможно, что источник заражения все еще находится в файлах вашего сайта, поэтому мы рекомендуем тщательно проверить все файлы на предмет наличия в них постороннего или подозрительного кода. Некоторые советы по поиску кода вы можете найти на страницах нашей Помощи:
https://yandex.ru/support/webmaster/security/cure.html
https://yandex.ru/support/webmaster/security/send-...
Если вы не хотите, чтобы робот обращался к этим страницам, вы можете запретить их индексирование в файле robots.txt. В этом случае робот будет знать, что индексировать их не нужно, и не будет к ним обращаться. А если на страницы не ведут внешние ссылки, со временем информация о них будет удалена из Яндекс.Вебмастера. Подробнее о файле robots.txt вы можете прочитать на странице нашей Помощи:
https://yandex.ru/support/webmaster/controlling-ro... . Рекомендую вам также воспользоваться инструментом проверки файла robots.txt:
https://webmaster.yandex.ru/tools/robotstxt/ . Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.
