Какая должна быть очередность user-agent?

Question

[ildar r. khasanshin]

в случае использования нескольких директив (*, yandex, google, ..) куда правильнее вставлять user-agent: *
в самое начало или же в конец?

Answer 1

[Владислав Яновский]

Порядок групп в файле robots.txt не учитывается - можете использовать user-agent: * в любом порядке.

Для Google:

Для отдельного поискового робота действительна только одна группа записей. Чтобы определить ее, он должен найти группу, для которой указан наиболее строгий, но подходящий агент пользователя. Все остальные группы записей будут проигнорированы.

https://developers.google.com/webmasters/control-c...

Для Яндекса:

В файле robots.txt робот проверяет наличие записей, начинающихся с User-agent:, в них учитываются подстроки Yandex (регистр значения не имеет) или * . Если обнаружена строка User-agent: Yandex, директивы для User-agent: * не учитываются. Если строки User-agent: Yandex и User-agent: * отсутствуют, считается, что доступ роботу не ограничен.

https://yandex.ru/support/webmaster/controlling-ro...