Как запретить роботам индексировать страницы /category/view/15?status=1, но при этом чтобы /category/view/15?status=1&page=2 и /category/view/15 индексировались?
Disallow: /category/view/*?status=1 не помогает, т.к. /category/view/15?status=1&page=2 тоже блокирует.
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.
При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.