Где искать файлы robot.txt и sitemap.xml в Wordpress?

Question

[torik22rus]

При проверке файлов robot.txt и sitemap.xml вижу сторонние ссылки, самих этих файлов в каталогах нет, но они открываются по прямым ссылкам. В файле .htaccess перенаправлений нет. Отключение всех плагинов не помогло. Подскажи где они могут быть расположены? И почему открываются, хотя на сервере их нет?

Answer 1

[Дмитрий]

Значит генерируются какими-то сео плагинами. Посмотрите плагины типа Rank Math или Yoast Seo.

Comments

[torik22rus]

Все плагины отключал, при этом файлы так и продолжили открываться

[Дмитрий]

torik22rus, Вы лучше не все плагины отключайте, а найдите тот сео плагин, который выводит карту и роботс. Там вы их сможете отключить. После отключения файлы могут из-за кэша сохраняться.

Да и вообще, если вы запулите эти файлы на хостинг, то они и заменят те, что сейчас. Sitemap.xml - можете полное название файла привести?

[torik22rus]

https://aruna-coffee.ru/sitemap.xml и https://aruna-coffee.ru/robots.txt В корне сайта, да и по поиску таких фалов нет, чтобы заменять.

[Дмитрий]

Чего тут непонятного? Вот ваш сеоплагин All in One SEO. Скорее всего там и файлы надо настраивать.

В корне сайта, да и по поиску таких фалов нет, чтобы заменять. Так вы сделайте в блокноте robots.txt и закиньте в корень. Он должен собой подменить тот что в плагине. А лучше через плагин все это хозяйство редактируйте. https://aioseo.com/docs/using-the-robots-txt-tool-...

Answer 2

[Артем Золин]

С версии 2.1.0 при отсутствии физического файла robot.txt введена функция do_robots(), которая создает динамический файл robots.txt. Для добавления своих правил вы можете использовать хук robots_txt

add_filter( 'robots_txt', 'add_robotstxt', -1 );
function add_robotstxt( $text ) {
	$text .= "Disallow: */comments";
	return $text;
}

Правильнее управлять файлом именно через функцию, а не через физический файл, т.к. это даст возможность SEO-плагинам тоже изменять ваш robots.txt

Создание XML-карты сайта появилось в версии WordPress 5.5, она доступна по адресу /wp-sitemap.xml с редиректами. На wp-kama есть отличная статья с подробным описанием функционала