Как убрать вредоносные ссылки в гугл-индексации?

Question

[Кирилл]

Есть небольшой сайт на вп, у которого всего пара страниц, и вышло так что вредонос создал с помощью php за пару месяцев ссылок по типу
https://website.com/helicopter22/dgdfgfeg.htm
и тд аж 25 млрд, тк никто это не мониторил)

Буду благодарен если кто-то сталкивался поделиться советом? Вредонос я удалил, все ссылки более недоступны, но что делать с гуглом не представляю.

В нем их уже меньше видимо после пары заходов, но остальные даже те что 404 сейчас, проиндексированы и так и пишет "Проиндексировано, но ее нет в Sitemap"

Сделал Robots. txt и сайтмап только с нужными страницами

Robots

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://website.com/sitemap_index.xml

Есть идея либо закрыть сайт на недели две полностью, чтобы убрались все ссылки и запустить опять, либо оставить так как есть, и со временем они уйдут, но эта индексация создает нагрузку на сервак, так сказать два стула)

Спасибо

Answer 1

[Cyberaslan]

Единственный корректный метод и наиболее эффективный - отдать специальный код 410 Gone (адрес отключен навсегда). Приоритетно выполняется удаление из индекса как яндексом, так и гуглом.

Примерно такой htaccess:
RewriteCond %{REQUEST_URI} (.)*keyword
RewriteRule ^.*$ https://url [R=410,L]

Здесь парень писал "Страницы с ошибками 404 постепенно исчезнут из индекса". Это глупо. Смешно, что у него есть телеграм-канал по SEO.

Comments

[Кирилл]

Cyberaslan Спасибо за ответ! Попробовал удалить через решение с инструментом гугл - удалился, но в Покрытии и тд все как было так и осталось.

Я как вариант могу добавить правила в htaccess, но там нормальные страницы есть, а есть около 150, все не подберу так) И можно ли потом отменить 410 для нормальных страниц?

Спасибо!

[Cyberaslan]

Конечно, нужно добавлять правила в htaccess. Это помимо прочего стандарт google. Инструменты удаления в панели - просто новые фичи для ленивых зумеров.

Все верно, просто сделай скопом для всех 404 страниц по конечным URL:
Redirect 410 /catalog/adidas/adidasoriginals228/

Нормальные рабочие страницы не трогай.

Answer 2

[Ринат Хайсман]

Страницы с ошибками 404 постепенно исчезнут из индекса. Если определенные страницы долго не удаляются, воспользуйтесь инструментом удаления в Google Search Console, вот ссылка на тулзу.

Цитирую официальную справку этого инструмента Google:

Вы можете исключить URL из результатов Google Поиска, а также удалить текущее описание страницы и ее кешированную версию (которые будут созданы заново после очередного сканирования). URL исчезнут из Поиска примерно на шесть месяцев. Если вы хотите, чтобы они никогда не показывались там, заблокируйте индексирование страниц или удалите их с сайта.

Дополнительная информация из официальных рекомендаций Google: https://developers.google.com/search/docs/advanced...

Подписывайтесь на телеграм канал SEO-специалист, там много качественной информации по самостоятельному продвижению сайтов.

Comments

[Кирилл]

Огромное спасибо за ответ!
Как раз вчера ее и нашел случайно, отправил его полностью на удаление )

[Игорь Гончаренко]

Кирилл, 410 ответ таким страницам лучше отдайте - быстрее будет чем с 404

[Ринат Хайсман]

Игорь Гончаренко, ничего подобного, на днях я перевел официальный документ рекомендаций Google для вебма..., опубликованный командой поиска 26 июня.

Цитата:

Все ошибки 4xx, за исключением 429, обрабатываются одинаково: робот Google сообщает конвейеру индексирования, что контент не существует.
Конвейер индексации удаляет URL-адрес из индекса, если он был ранее проиндексирован.

[Игорь Гончаренко]

Ринат Хайсман, а на практике пробовали ? С 410 уходит быстрее, это факт.

[Cyberaslan]

Игорь Гончаренко, паренек почитал новую версию документика, но не видит в search console, что все страницы с 404 ошибкой висят годами.