Задать вопрос
@Traney
поисковые-системы

Как зайти на сайт как поисковый бот?

Нашел скрипт, который проверят кто на сайте, бот ли (поисковой) или человек. Вывожу скриптом текст который должен появлятся, только если на сайте гугл бот. Но не знаю как проверить, работает ли скрипт. Может кто подскажит сервис, способ. Гугл вебмастер, лень добовлять туда сайт.
  • Вопрос задан
  • 5225 просмотров
Комментировать
Подписаться 4 Оценить Комментировать
Помогут разобраться в теме Все курсы
  • Нетология
    1С-программист
    10 месяцев
    Далее
  • Skillbox
    Профессия 1C-разработчик
    8 месяцев
    Далее
  • Hi-TECH Academy
    KL 004.2.4 Kaspersky SD-WAN
    2 дня
    Далее
Решения вопроса 1
kkzhn
@kkzhn
Роботы используют собственные UserAgent при отправке HTTP-запросов серверу.

Пример:
66.249.73.134 - - [02/May/2014:13:45:23 +0100] "GET /catalog/ HTTP/1.1" 200 11394 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"


Отсюда видно, что бот Google имеет UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)".
В вашем браузере меняете UserAgent на тот, что у бота Google - osxdaily.com/2013/01/16/change-user-agent-chrome-s...
Далее заходите на сайт и смотрите на результат.

UserAgent-ы всех ботов приведены тут - www.useragentstring.com/pages/Crawlerlist
Ответ написан
1 комментарий
1 комментарий
Пригласить эксперта
Ответы на вопрос 1
aumk
@aumk
жди
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Главный менеджер управления поддержки продаж сети
ПСБ цифровая лаборатория • Москва
от 110 000 до 130 000 ₽
Аналитик-разработчик (команда Intelligent Search)
Сбер • Москва
от 250 000 до 400 000 ₽
Java разработчик
SENSE
До 450 000 ₽
Ещё вакансии