Индексация повторных страниц в Google?

Question

[youngaff]

Перед индексацией сайта забыл закинуть robots.txt. Через сутки в явебмастере заметил предупреждение, в гугле не было еще страниц в индексе.Закинул в корневую директорию robots.txt(data/www/domain.com/robots.txt). Через сутки-двое увидел domain.com/author/admin/ в выдаче гугла(повторение главной страницы).В чем моя ошибка и как это исправить? Был такой robots:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /hubs
Disallow: /author/*
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /wp-content/*
Disallow: /trackback
Disallow: /wp-json/
Disallow: /feed/
Disallow: /?s=
Disallow: /tag
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */page/*
Disallow: */*/feed/*/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Disallow: /category/*

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /cgi-bin
Disallow: /hubs
Disallow: /author/*
Disallow: /wp-admin
Disallow: /wp-includes/
Disallow: /wp-content/*
Disallow: /trackback
Disallow: /wp-json/
Disallow: /feed/
Disallow: /?s=
Disallow: /tag
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */page/*
Disallow: */*/feed/*/
Disallow: */trackback
Disallow: */*/trackback
Disallow: /*?*
Disallow: /category/*

Sitemap: https://domain.com/sitemap.xml
Host: https://domain.com/

Answer 1

[youngaff]

Вчера вечером добавил Disallow: /author/admin/ в robots.txt, на след день днем уже нет ненужных страниц в выдаче.

Answer 2

[entermix]

Ошибка в том, что изначально Вы забыли добавить robots.txt.

Google проиндексировал сайт, остается только ждать, когда пройдет повторная индексация.

Так же можно удалить ненужные страницы вручную:
https://support.google.com/webmasters/answer/16634...