Как проверить доступен ли урл для индексации поисковыми ботами?

Question

[Владимир Муковоз]

Мерчант выдал список не доступных для него урл, я поправил robots.txt и предполагаю что уже все доступны, но хотелось бы быть в этом уверенным. Перебирать урлы в ручную долго. Нужен или пакетный проверяльщик или способ который я бы мог автоматизировать через самописный скрипт. Как Вы решаете подобные проблемы? Для штучной проверки я обычно использую
https://webmaster.yandex.ru/tools/server-response/
Приму любые подсказки пот автоматизации процесса.
Всем спасибо за потраченное время.

Answer 1

[isrofilov]

https://webmaster.yandex.ru/site/https:example.com...
—
Обновлено
https://webmaster.yandex ru/site/https:example.com:443/tools/robotstxt/
Вместо example.com адрес сайта добавленный в веб-мастер

Comments

[Владимир Муковоз]

надеюсь это была шутка такая, я уже написал что я использую это для штучной проверки. Мне нужно пакетно. Или у тебя есть идея как это автоматизировать? Я вообще сразу не обратил внимание, это же добавление сайта в поиск, зачем он мне вообще? Этот урл? Вы бот?

[isrofilov]

На данной странице доступна пакетная проверка
webmaster.yandex ru /site/https:example.com:443/tools/robotstxt/

[Владимир Муковоз]

isrofilov, воу, спасибо. Просто ссылка на добавление сайта в метрику это было слишком толсто для меня)