Стоит ли в robots.txt указывать отдельные секции для каждого user-agent?

Question

[megaterminator]

Есть ли разница с точки зрения поисковой оптимизации между этим:

User-agent: *
Disallow:

и этим:

User-agent: Yandex
Disallow: 

User-agent: Googlebot
Disallow:

?
Сайт -- простая визитка. Я правильно делаю, что ничего не запрещаю для индексации?

Answer 1

[Владислав Яновский]

В вашей ситуации с точки зрения оптимизации скорее всего разницы нет.

Использовать разные User-agent бывает необходимо для решения определенных задач.

Например:
При использовании User-agent: * - бот Adsense (User-agent: Mediapartners-Google) не может отображать объявления в заблокированных разделах сайта. В этом случае логично использовать разные секции.

Для Google и Yandex также может возникнуть необходимость использования разных инструкций, но пока у вас ее нет - не парьтесь.

Answer 2

[Ilya Korablev]

User-agent: * - любой бот.
Заодно почитайте.

Comments

[megaterminator]

Я имел в виду, стоит ли для каждого бота отдельно указывать секцию? Один товарищ рекомендовал сделать индивидуальных роботов для каждой поисковой системы, и я поэтому решил разобраться в этом вопросе.

Answer 3

[un1t]

Есть общие правила для всех ботов, но каждый бот поддерживает дополнительные наборы правил.
Если используем только общие директивы, то достаточно для * указать.

Answer 4

[Виктор Таран]

только в том случае если в определенном браузере у вас вылез индекс не требуемого раздела, как правило в гугле, по сему для него особого вы отдельно пишите правило запретить такой то раздел пнинудительно, в остальном нет.