igorux

city - должно быть открыто

Allow: /city/$

название-города - должно быть закрыто

Сделайте общую подстроку в конце url для этих страниц, например, /city/название-города/city-info/
Тогда получится:
Disallow: /city/*/city-info/$

products - должно быть открыто, но все, что после products должно быть закрыто от индексации

Allow: /city/*/products/$
Disallow: /city/*/products/*
#/city/*/products/ подходит под оба условия, будет выбрана директива Allow

Если я правильно понял ваше условие, то:
Disallow: /*повторяющееся слово*.html$

Использование спецсимволов * и $

Используйте инструменты проверки доступности документов для индексации в вебмастерских консолях поисковиков. После правки robots проверяйте, разрешено ли к индексации то, что вы хотели разрешить и т. д.

Disallow: /category/view/*?status=1
Allow: /category/view/*?status=1&page=2

Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.

Если книги на аглицком, так и продавайте их на мировом рынке, а не внутрироссийском.
На eBay, например. Там как раз можно специализированные места найти, потому что рынок более развитый.
Если много лазите в профессиональных сообществах в социальных сетях, подключите себе бесплатный магазин Эквида или что-нибудь вроде.

Смотрите шпаргалку Яндекс.Вебмастера:
******
Директивы Allow и Disallow из соответствующего User-agent блока сортируются по длине префикса URL (от меньшего к большему) и применяются последовательно. Если для данной страницы сайта подходит несколько директив, то робот выбирает последнюю в порядке появления в сортированном списке. Таким образом, порядок следования директив в файле robots.txt не влияет на использование их роботом.

При конфликте между двумя директивами с префиксами одинаковой длины приоритет отдается директиве Allow.
******

Robots.txt граберам не указ.
Нужно именно закрыть доступ, а не повесить табличку «Закрыто».

Как справедливо замечено выше, на уровне конфига сервера.
Например, для Апача добавить в каталог с фидом .htaccess с примерно таким содержанием:

SetEnvIf User-Agent YandexBot/3.0 welcome=1

Order Allow,Deny
Deny from all
Allow from env=welcome

И разрешить Яндексу индексацию в robots.

Если вы сделаете robots таким, то Яндекс проигнорирует все директивы, расположенные выше строки «User-agent: Yandex».

Либо открывайте индексацию фида для всех ботов, либо повторите для Яндекса все директивы сначала.

Есть мнение, что не у Касперского есть служба безопасности, а наоборот.