Что делать с несуществующими страницами на WordPress?

Question

[Андрей Филимонов]

сайт на WordPress вебмастер показывает в индексе несуществующие страницы:

spoiler

Почему по ним не отдаётся 404 страница?
Так же плагин Redirection показывает постоянные 404 страницы типа:

spoiler

Что сделать с первым и вторым случаем?

Comments

[Semantic.Moscow]

по этим адресам боты ходят, значит эти адреса у вас где-то в sitemap.xml
* если вы конечно уверены, что на сайте действительно нет битых ссылок.

[Андрей Филимонов]

Semantic.Moscow, нет этого в sitemap.xml, brokenlinkcheck не нашёл, этих битых ссылок нет. Это со стороны траффик. Нельзя, чтобы он в поиск попадал. Нужно остановить переходы ботов по битым ссылкам. Вот как?

[Semantic.Moscow]

Андрей Филимонов, а много имён в этих ссылках или они повторяются?

если не очень много и с повторами,
то по маске в robots.txt запретить,
например: Disallow: /?apokma*

ну и заглянуть в логи сервера - откуда трафик идёт?

[Андрей Филимонов]

Semantic.Moscow,
как понял можно сделать более обще в robots.txt как
Disallow: /? #
Почему нет?

Пока я живу без физического файла robot.txt, но есть .htaccess возможно ли в нём сделать такое Disallow: /? # ?

ну и заглянуть в логи сервера - откуда трафик идёт?

простите, боюсь не сумею, у меня хостинг.

Полагаю, нужно смотреть в направление работы с .htaccess. Как можно внесением в него правок это решить? Чтобы всё, что начинается /store.php... отдавало 404 ошибку и не индексировалось. Ну и всё что начинается с ? не индексировалось.

[Semantic.Moscow]

ну так просто создайте robots.txt и пропишите в нём все запреты

ну а для htaccess что-то вроде:

RewriteCond %{REQUEST_METHOD} GET
mod_rewrite ^ / [L,F]

(отрубит вообще все ?*)

[Андрей Филимонов]

Semantic.Moscow,
простите, если не понимаю, но где тут

RewriteCond %{REQUEST_METHOD} GET
mod_rewrite ^ / [L,F]

знак "?"
Нужно ведь оставить рабочими обычные страницы, и нерабочими, которые начинаются с сайт.ру/? и сайт.ру/store

[Semantic.Moscow]

Андрей Филимонов, знак "?" это GET

[Дмитрий]

Андрей Филимонов,
>Что делать
забей
ну или настрой в аналитике, чтоб игнорило такой гет параметр

например тут туториал для гугла
https://www.bounteous.com/insights/2020/05/15/excl...

>Почему по ним не отдаётся 404 страница?
а должна?
это ж гет параметр дополнительный для какого-то урла
если урл открывается корректно без гет параметра, то и с добавлением параметра ВП будет отлично ссылку ресолвить.
ну или можно добавить в коде, чтоб при нахождении гет параметра оно редиректило или отвечало 404м кодом. Но это полная ерунда.

Почему вы вообще решили, что "Нельзя, чтобы он в поиск попадал"?
Радоваться нужно, что страницы на сторонних сайтах есть и есть по ним переходы

Answer 1

[Дмитрий]

Мне кажется, что это страницы генерируются медиавложениями (картинками) в Вордпресс. Распространенная проблема. Найдите плагин, который будет делать редирект с этих вложений. Такая функция есть в Rank Math. Со временем ссылки уйдут из вебмастера.