WordPress, как скрыть информацию из профиля пользователя от поисковиков?

Question

[nivescio]

Добрый день! Не могу понять, если в профиле пользователя выводится информация из платежных реквизитов: ФИО, телефон, e-mail, доступна ли эта информация поисковикам? Нужно дополнительно что-то делать, что бы скрыть эту информацию от любых поисковых ботов? Если да, то что?

Имеется в виду, нужно что-то ещё делать кроме настройки Robots.txt? От недобросовестных поисковых ботов Robots.txt ведь не спасет?

Answer 1

[Александр]

Нужно дополнительно что-то делать, что бы скрыть эту информацию от любых поисковых ботов? Если да, то что?

Видимо нужно настроить Robots.txt

User-agent: * # Для всех поисковых систем
Disallow: /cgi-bin
Disallow: /?
Disallow: /wp-
Disallow: *?s=
Disallow: *&s=
Disallow: /search/
Disallow: /author/
Disallow: /users/
Disallow: */trackback
Disallow: */feed
Disallow: */rss
Disallow: */embed
Disallow: /xmlrpc.php (у меня этот файл удален, умиляюсь попытками ломать сайт через файл, которого физически нету, долбят его по 7 раз на дню)
Disallow: *utm=
Disallow: *openstat=
Disallow: /tag/ # Закрываем метки
Disallow: /readme.html # Закрываем бесполезный мануал по установке WordPress (лежит в корне) - его проще удалить
Disallow: *?replytocom
Allow: */uploads

Comments

[nivescio]

Да, это понятно, но на сколько я понимаю от недобросовестных поисковых ботов Robots.txt не спасет?

[Александр]

от недобросовестных поисковых ботов Robots.txt не спасет?

Более того, он не особо то и спасает от яндекс и гугл ботов, которые могут индексировать любую ересь на свое усмотрение, не считаясь с указаниями роботс.

По ботам - это к файлу .htaccess - добавить нужно следующее:

# Blocking Bots
SetEnvIfNoCase User-Agent "^SuperBot" bad_bot
SetEnvIfNoCase User-Agent "^SuperHTTP" bad_bot
SetEnvIfNoCase User-Agent "^Surfbot" bad_bot
SetEnvIfNoCase User-Agent "^suzuran" bad_bot
SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "^copier" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^Telesoft" bad_bot
SetEnvIfNoCase User-Agent "^AhrefsBot" bad_bot
SetEnvIfNoCase User-Agent "^moget" bad_bot
SetEnvIfNoCase User-Agent "^TheNomad" bad_bot
SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "^Titan" bad_bot
SetEnvIfNoCase User-Agent "^Gigabot" bad_bot
SetEnvIfNoCase User-Agent "^Slurp" bad_bot
SetEnvIfNoCase User-Agent "^SemrushBot" bad_bot
SetEnvIfNoCase User-Agent "^MJ12bot" bad_bot
SetEnvIfNoCase User-Agent "^Vacuum" bad_bot
SetEnvIfNoCase User-Agent "^SeznamBot" bad_bot
SetEnvIfNoCase User-Agent "^Seznam" bad_bot
SetEnvIfNoCase User-Agent "^BLEXBot" bad_bot
SetEnvIfNoCase User-Agent "^CCBot" bad_bot
SetEnvIfNoCase User-Agent "^MegaIndex" bad_bot
SetEnvIfNoCase User-Agent "^aiHitBot" bad_bot
SetEnvIfNoCase User-Agent "^netEstate NE Crawler" bad_bot
SetEnvIfNoCase User-Agent "^NetcraftSurveyAgent" bad_bot


Order Allow,Deny
Allow from all
Deny from env=bad_bot

[nivescio]

Все равно не понимаю, вот есть сайт, есть личные кабинеты пользователей, в котором отображается соответствующая информация об этом пользователе. Что бы получить, доступ к этой странице и просмотреть информацию, пользователь должен авторизоваться. А поисковой бот, как-то может эту информацию получить без всяких авторизаций?? По идее, не может ведь?

[Игорь Воротнёв]

nivescio, нет, не сможет. Спите спокойно.

Answer 2

[Игорь Воротнёв]

Для начала уточните - это публичные профили, или приватные (для их просмотра надо авторизоваться). Если приватные - забудьте и спите спокойно, роботы не будут регистрироваться, авторизовываться и индексировать закрытые части сайта. А если профили публичные - тогда, имхо, публичные данные и должны быть доступны для индексации.

Comments

[nivescio]

Именно приватные, меня и интересовали, спасибо за ответ :)

[Александр]

роботы не будут регистрироваться, авторизовываться и индексировать закрытые части сайта.

уу брат, как все запущено у Куратора тега WP
робот не авторизируется - это раз
робот будет индексировать что захочет - это два
в большинстве случаев не будет, если закрыть это в robots.txt

Но ваше умение понтово преподать воду - можно на западе монетизировать очень дорого.

[Игорь Воротнёв]

Александр, что ты несешь, чувак?)))