Как создать sitemap, который будет доступен только ПС?
Добрый день!
У меня есть довольно крупный сайт (10 000+ страниц), который проиндексирован наполовину.
Хочу создать sitemap.xml, но боюсь, что по этому sitemap меня пропарсят на 123. Хочется дать доступ только поисковикам.
Знаю, что у яндекса при указании ссылки на YML, можно использовать логин и пароль, тем самым защитить страницу. А есть ли что-то похожее у поисковиков для карты сайта?
Я бы хотел иметь скрипт вида sitemap.php, который был бы доступен только поисковикам, желательно с авторизацией. Есть ли у них такое?
Мои предположения:
- можно смотреть по IP адресам ботов, но они могут меняться.
- смотреть по user-agent смысла нет.
Не очень понятно от кого вы хотите в итоге спрятать контент.
Если есть разделы сайта которые не видны простым смертным, то да, индексация через sitemap чисто теоретически может помочь.
А если вас захотят спарсить, сайтмап будет меньшее на что будут обращать внимание.
Если у вас настолько уникальный контент, который часто парсят, сделайте так чтобы парсинг пошел вам на пользу.
Ни в Google ни в Mail обход защиты не предусмотрен. Если думать именно о защите.
Еще вариант сделать индексный sitemap, как минимум от бездумного парсинга спасет :)
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.
