Сначала Disallow или Allow в robots?

Question

[ZaraMc]

Здравствуйте! Гуглил и везде мнения делятся на два лагеря: сначала запрещаем раздел, потом разрешаем то что нужно и сначала разрешаем то что нужно, потом запрещаем

Answer 1

[Владислав Яновский]

Мнение Яндекса:

Совместное использование директив
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

Ссылка на страницу справки Яндекс

Мнение Google:

Порядок приоритетности для записей вне групп
На уровне группы, в частности для директив allow и disallow, самое строгое правило, учитывающее длину записи [путь], будет важнее менее строгого и более короткого правила. Порядок очередности правил с подстановочными знаками не определен.

Ссылка на страницу справки Google

Итого:

• Порядок указания директив не имеет значения;
  
• Если вы волнуетесь о неправильно составленных инструкциях, то в кабинетах вебмастера Google и Яндекс есть инструменты проверки файлов robots.txt - можете проверить, правильно ли выполняются ваши инструкции.