Почему пустой robots.txt?

Question

[xFreake]

Ребята в чем суть проблемы пустой robots.txt
g-stonerecap.com

User-agent: *
Disallow: /

Хотя в корне wp лежит

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: /tmp/
Disallow: *?s=

User-agent: *
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: */feed
Disallow: /cgi-bin
Disallow: /tmp/
Disallow: *?s=

Host: g-stonerecap.com
Sitemap: g-stonerecap.com/sitemap.xml

Answer 1

[Иван]

У вас в корне WP лежит файл robot.txt, а нужно его переименовать в robots.txt.

Comments

[xFreake]

дело в том что я даже выгрузил все и нет там robot.txt

[xFreake]

Сам не знаю откуда он

[Иван]

Но он есть - g-stonerecap.com/robot.txt :)

[xFreake]

Иван: Но в файлах его нет

Answer 2

[Игорь Воротнёв]

WordPress генерит виртуальный robots.txt на лету. В зависимости от галочки "Разрешать поисковым системам индексировать сайт" в настройках, содержание этого файла будет отличаться. Disallow: / означает что галочка у вас стоит.

Чтобы WP перестал использовать его, создайте физический файл robots.txt в корне вашего сайта и впишите туда все, что нужно.