Как убрать из выдачи Google ссылки на файлы .php и .js?

Question

[Roman]

Сайт на Wordpress. В доп.выдачу Google попали файлы .php и .js
До января этого года robots.txt и мета-тег были настроены как попало. В январе настраивал сайт по статье АлаичЪ'а:
В robots.txt прописано:

User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: site.com
Sitemap: http://site.com.xml

В functions.php прописано:

/* Robots */
function meta_robots () {
if (get_query_var('cpage') or is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_paged() or is_search()) 
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";}
}
add_action('wp_head', 'meta_robots'); 
/*--------------------------------------*/

Прошу дать советы, в частности подскажите как избавиться от файлов .php и .js и как ускорить удаление ненужных страниц (архивов, категорий,...) из доп.выдачи.
Благодарю за ответ.

Answer 1

[Владислав Яновский]

Ну разве что запаролить директории, но зачем?
https://support.google.com/webmasters/answer/93708

Возможно робот еще не успел все просканировать.
https://support.google.com/webmasters/answer/93710

Как вариант, в панели вебмастера попробуйте просмотреть как Googlebot страницы, которые необходимо выкинуть из индекса. Тогда робот увидит мета-тег и, возможно, быстрее последует рекомендациям.
https://support.google.com/webmasters/answer/6066467

Comments

[Roman]

Да вроде 3 месяца уже прошло, на сайт Googlebot регулярно заглядывает, но не всё выкинул ещё.
Да и с инструментом "Просмотреть как Googlebot" не всё понятно. Вот архив /2013 у меня закрыт мета-тегом "noindex,nofollow", я его сканирую "как Googlebot", загруженный ответ HTTP 200 ОК и мета-тег Googlebot видит. А нажимать кнопку Добавить в индекс мне надо? Я же не хочу чтобы архив был в индексе, но показать мета-тег боту хочу. Значит что - просто просканировать и всё на этом?

[Владислав Яновский]

Попробуйте для начала отправить несколько страниц. После отправки на индексацию система должна увидеть, что страница запрещена к индексации.

[Roman]

Владислав Яновский:
Что значит "отправить"?))
В инструментах веб-мастера используются формулировки "Сканировать" и "Добавить в индекс".
Вы предлагаете несколько страниц из доп.выдачи с мета-тегом "noindex,nofollow" для начала просто просканировать, или несколько таких страниц просканировать и нажать "Добавить в индекс"?

[Владислав Яновский]

Предлагаю добавить в индекс, возможно это даст сигнал роботу, что страница запрещена к индексации, когда он захочет добавить ее и заметит тег.

[Владислав Яновский]

Roman Gruff: возьмите к примеру 10 страниц, 5 из них просто сканируйте, а другие добавьте в индекс. Потом сравните, есть ли разница и какие страницы быстрее будут исключены)

[Roman]

Владислав Яновский:
Прошло 2 недели.
14 из 15 страниц, которые я сканировал и нажимал "Добавить в индекс" - выпали из доп.выдачи.
2 из 15 страниц, которые я просто сканировал, но не "добавлял в индекс", - выпали из доп.выдачи.
1 из 15 страниц, с которыми я ничего не сделал - выпала из доп.выдачи.

Тем не менее как поступить с файлами .php и .js я не понимаю, ведь они закрыты через robots.txt простым правилом Disallow: /wp- , а значит пока я их не открою - они 100% из доп.выдачи не уйдут.
И если я их открою - тоже не понятно что с ними станет.

[Владислав Яновский]

Roman Gruff: а вам как-то эти страницы в выдаче мешают? Они показываются вместо релевантных или еще что-нибудь? Если нет - не обращайте внимания, ведь никаких проблем это не создает.

[Roman]

Владислав Яновский:
Нет, они не мешают.
Но "не обращать внимание" не решение, а уход от, пусть даже незначительной, проблемы.

[Владислав Яновский]

Roman Gruff: понимаю, что хочется сделать все идеально, но имхо вы слишком много внимания уделяете именно такой мелочи, которая по сути "проблемой" и не является. Пользователям сайта так и вообще до лампы - есть в индексе пара файлов лишних или нет. А для роботов гугла наоборот лучше открыть js файлы, т.к. он постепенно осваивает их обработку и учится понимать зачем они предназначены.

[Roman]

Владислав Яновский:
Открыть скрипты это можно, но у меня например кое-где производится подмена ajax'ом "не ссылки" на "ссылку", вроде <span data-link="link"></span> на <a href="link"></a>, вроде google такие места пока не индексирует и файл с этим скриптом открывать ему тоже не хочется. Вы всё открываете?

[Владислав Яновский]

Roman Gruff: я открываю те скрипты и файлы, которые необходимы для отображения страницы. В панели вебмастера просмотрите страницу как Google-bot с отображением и проверьте, нет ли в списке недоступного содержимого файлов вашего сайта.