Как создать sitemap, который будет доступен только ПС?

Добрый день!
У меня есть довольно крупный сайт (10 000+ страниц), который проиндексирован наполовину.
Хочу создать sitemap.xml, но боюсь, что по этому sitemap меня пропарсят на 123. Хочется дать доступ только поисковикам.

Знаю, что у яндекса при указании ссылки на YML, можно использовать логин и пароль, тем самым защитить страницу. А есть ли что-то похожее у поисковиков для карты сайта?

Я бы хотел иметь скрипт вида sitemap.php, который был бы доступен только поисковикам, желательно с авторизацией. Есть ли у них такое?
Мои предположения:
- можно смотреть по IP адресам ботов, но они могут меняться.
- смотреть по user-agent смысла нет.
  • Вопрос задан
  • 521 просмотр
Решения вопроса 2
@yuras666
В настройках webmaster для "яндекса" и "гугла" можно указать прямую ссылку на твой sitemap.xml в стиле /my-super-secret-site-map.xml. Но смысла я в этом не вижу. Что мне помешает просто пройтись по сайту и собрать все прямые ссылки? Если твой контент захотят спарсить, то его с вероятностью 100% спарсят. Там есть другие секретные методики: зашивать токен в сессию, смотреть рефер, блокировать типовые запросы с одного IP, какие-нибудь костыли на js. Но это все обходится очень быстро. Это интернет, тут все в общем доступе ))))
Ответ написан
landergate
@landergate
IT-шный jack-of-all-trades
Файл sitemap.xml можно загрузить вручную в инструментах вебмастера, не публикуя его в robots.txt.

Можно присвоить ему совершенно другое название.
Будучи однажды добавленным, именно этот URL будет сканироваться поисковиком. Можете изменять его содержимое в последствии. Поисковик сканирует добавленный sitemaps.xml с интервалом в несколько дней.

Выдавать различающийся контент ПС и пользователям - плохая практика, за которую поисковики понижают в ранжировании.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
@LEXXiY
Не очень понятно от кого вы хотите в итоге спрятать контент.
Если есть разделы сайта которые не видны простым смертным, то да, индексация через sitemap чисто теоретически может помочь.
А если вас захотят спарсить, сайтмап будет меньшее на что будут обращать внимание.
Если у вас настолько уникальный контент, который часто парсят, сделайте так чтобы парсинг пошел вам на пользу.
Ответ написан
При желании - ваш сайт спарсят, вопрос только времени и каким способом)
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы