Народ оцените плиз, нормальный ли роботс.тхт?

Question

[sashakirichenko]

User-agent: *
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/*.css*
Allow: /wp-content/*.js*
Allow: /wp-includes/*.js*
Disallow: /cgi-bin
Disallow: /wp-admin/
Disallow: /wp-content/cache/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /wp-comments
Disallow: */trackback
Disallow: */comments
Disallow: /*.php
Disallow: /*?replytocom
Disallow: /*?turl

Answer 1

[Александр Кузнецов]

Директивы валидные.
Но:
- не понятен смысл использования * после .js/.css (даже если зачем-то надо, вероятно логичнее был бы символ $)
- смысл разрешения индексации этих файлов в явном виде.
- смысл запрета индексации некоторых из указанных разделов (например комментариев).

Впрочем, вам виднее, что именно вы хотите сделать.

Что можно добавить:
- Sitemap
- Директиву Host, но обращаю внимание, что ее нужно размещать в отдельном разделе исключительно для бота Yandex (т.к. например Гуглом она не поддерживается), на практике вероятно нормально распарсит, просто проигнорировав строку, но формально, может прекратить обработку на невалидной строке.

Answer 2

[Rookee]

Добрый день!
Согласны с предыдущим оратором, что нет смысла ставить * после «.css» и «.js». Ее отсутствие также означает любое количество символов после.
Да, не хватает директивы «Sitemap: https://site.ru/sitemap.xml».
А вот Host уже можно не указывать. Яндекс остановил поддержку этой директивы полтора года назад. Теперь переезд сайта можно делать сразу при помощи 301-го редиректа.