Как найти все индексируемые страницы с 404 ошибкой?

Question

[AlexeyFuture]

Вопрос вот в чем.
Мне нужно найти все ссылки, которые индексируются в гугл и яндексе с 404 ошибкой, когда делаю выгрузку из вебмастера или консоли, то он также даёт страницы, на которых есть контент, хотя проверка была буквально только что и никто никаких изменений на сайт не вносил, либо страницы, которых уже не в индексе, подаскажите, как можно выгрузить страницы, только с 404 ошибкой, и только те, которые находятся в индексе?

Comments

[demon trigger]

404, если я правильно понимаю, может произойти при любом запросе на страницу, которой нет. Выходит слишком уж большое множество возможных запросов, которые ответят 404. Тут скорее подойдет поиск по ошибке 410

[demon trigger]

Поискал еще, Google Search Console

[AlexeyFuture]

demon trigger, да, серч консоль выдает страниц с 404 ошибкой, но проблема в том, что при проверке этой страницы, там либо есть контент, либо её уже нет в индексе(

[AlexeyFuture]

demon trigger, А вот с 410 буду пробовать, спасибо)

[Dimonchik]

либо её уже нет в индексе(

потому и нет, что поисковик тут же ее выкидывает

Answer 1

[Евгений Молдовану]

Вам нужно экспортировать ссылки из консоли вебмастера (404) и проверить их список, например в
https://httpstatus.io/
Также можно сделать с помощью screaming frog seo spider (там есть проверка своего списка юрл), но программа платная, ищите патчи.
Есть старая программа easyblanalizer.
В SiteAnalyzer есть возможность загрузить сайтмап, не совсем то что вам нужно, но можно список 404 сформировать