Проиндексировано, несмотря на блокировку в файле robots.txt?
Пришло такое сообщение от гугла. Проиндексировано, несмотря на блокировку в файле robots.txt. Жалуется на ссылку формата sitename/news/?PAGEN_1=11 Посмотрел в robots.txt нашел запись Disallow: /news/?PAGEN* то есть получается раздел новости запрещен к индексации? ..странно... Ну и как исправить предупреждение сервиса? Убрать из robots.txt запись Disallow: /news/?PAGEN* и все?
Это похоже на запрет индексирования страниц пагинации (постраничной навигации), а не всех новостей. По идее ничего не нужно удалять, если Вы действительно хотите, чтобы страницы пагинации не индексировались. Гугл сам разрулит.
Простой
