Можно ли совместно использовать robots.txt и мета тег robots?
Добрый день!
Имеется сайт на php, страницы которого генерируются в виде site.ru/?view=razdel&id=1
Я вставил на каждую страницу мета теги robots, где-то разрешил индексацию, где-то запретил. И создал еще файл robots.txt, его содержимое:
User-agent: *
Disallow: /images
Disallow: /js
Disallow: /lib
Disallow: /source
Disallow: /styles
Disallow: /tmpl
Disallow: /activate.php
Disallow: /login.php
Disallow: /settings.php
Host: site.ru
Нужен ли вообще файл robots.txt?
Хочу скрыть JavaScript в папке js, классы в папке lib, файлы стилей в папке css и т.д. index.php не скрывал, или это лишнее, если есть мета-теги?
Приоритет на meta robots. Т. е. закрывать лучше через него. При этом, если закрываете через мета, в роботс прописывать страницу нельзя.
Мой роботс.тхт обычно выглядит примерно так:
User-agent: *
Disallow: /wp-*
Host: site.ru
Простой
