А NS-записи домена обновили или сменили DNS-серверы? Если сменили, достаточно ли времени прошло (в разных доменных зонах обновление занимает разное время)?
Собственно, в директиве Disallow: /city/*/products/* последний символ * — лишний, без него она означает то же самое. Я его обычно для себя добавляю, чтобы не забыть, что после завершающего слэша что-то ещё может быть.
Порядок — произвольный.
$ — знак конца строки (url).
Allow: /city/$ — разрешает индексировать /city/.
Allow: /city/*/products/$ — разрешает индексировать /city/название-города/products/
Disallow: /city/*/products/* — запрещает индексировать /city/название-города/products/+любой набор симовлов, в том числе пустой.
Поэтому страница /city/название-города/products/ подходит под обе директивы, в таких случаях поисковик выбирает Allow.
ustrechko, Разумеется, могут.
Дело не в пользователях, а в размере базы. Вам надо её как-то поделить, отрезать архив и поместить в отдельную копию вордпресса или в статику.
Я предполагаю, эти полтора миллиона записей с помощью автоматизации создавались, похоже, вордпресс для этого оказался неподходящим инструментом.
Всё-таки, за счёт чего база наросла? Если какой-нибудь плагин мониторинга пишет в базу каждый чих каждого бота, она очень быстро разбухает, а толку от этих сведений никакого.
Проверьте, можно ли уменьшить размер базы, просто удалив ненужные данные. Возможно, даже нужные данные можно сохранить в статических файлах и вынести куда-то.
Проверьте, что произойдёт, если сменить шаблон.
Настройте кеширование.
А он её и не поддерживал. Это Яндекса изобретение для помощи зеркальщику. Сейчас там решили, что зеркальщик сносно работает и нестандартная директива стала не нужна.
RewriteRule ^(.*)$ https://domain.tld/$1 [R=301,L]