Задать вопрос
@Traney
поисковые-системы

Как зайти на сайт как поисковый бот?

Нашел скрипт, который проверят кто на сайте, бот ли (поисковой) или человек. Вывожу скриптом текст который должен появлятся, только если на сайте гугл бот. Но не знаю как проверить, работает ли скрипт. Может кто подскажит сервис, способ. Гугл вебмастер, лень добовлять туда сайт.
  • Вопрос задан
  • 5229 просмотров
Комментировать
Подписаться 4 Оценить Комментировать
Помогут разобраться в теме Все курсы
  • Нетология
    1C-программист: расширенный курс
    18 месяцев
    Далее
  • Академия Эдюсон
    Python-разработчик + ИИ
    9 месяцев
    Далее
  • ProductStar × РБК
    Профессия: Инженер по информационной безопасности
    9 месяцев
    Далее
Решения вопроса 1
kkzhn
@kkzhn
Роботы используют собственные UserAgent при отправке HTTP-запросов серверу.

Пример:
66.249.73.134 - - [02/May/2014:13:45:23 +0100] "GET /catalog/ HTTP/1.1" 200 11394 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" "-"


Отсюда видно, что бот Google имеет UserAgent "Mozilla/5.0 (compatible; Googlebot/2.1; +www.google.com/bot.html)".
В вашем браузере меняете UserAgent на тот, что у бота Google - osxdaily.com/2013/01/16/change-user-agent-chrome-s...
Далее заходите на сайт и смотрите на результат.

UserAgent-ы всех ботов приведены тут - www.useragentstring.com/pages/Crawlerlist
Ответ написан
1 комментарий
1 комментарий
Пригласить эксперта
Ответы на вопрос 1
aumk
@aumk
жди
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Python developer
ITK academy • Краснодар
от 220 000 до 300 000 ₽
Go Developer
ITK academy • Краснодар
от 250 000 ₽
DevOps Engineer
ITK academy • Краснодар
от 80 000 ₽
Ещё вакансии