castomi
@castomi
Серверный администратор - tickets.settin.ru

Как проверить доступен ли урл для индексации поисковыми ботами?

Мерчант выдал список не доступных для него урл, я поправил robots.txt и предполагаю что уже все доступны, но хотелось бы быть в этом уверенным. Перебирать урлы в ручную долго. Нужен или пакетный проверяльщик или способ который я бы мог автоматизировать через самописный скрипт. Как Вы решаете подобные проблемы? Для штучной проверки я обычно использую
https://webmaster.yandex.ru/tools/server-response/
Приму любые подсказки пот автоматизации процесса.
Всем спасибо за потраченное время.
  • Вопрос задан
  • 123 просмотра
Решения вопроса 1
@isrofilov
https://webmaster.yandex.ru/site/https:example.com...

Обновлено
https://webmaster.yandex ru/site/https:example.com:443/tools/robotstxt/
Вместо example.com адрес сайта добавленный в веб-мастер
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы