Machez
@Machez
Бу!

Как определить популярных поисковых роботов?

Кто-нибудь сталкивался с задачей определить роботов популярных поисковых систем? Где можно подсмотреть список их User-Agent. Реализовывать собираюсь на PHP. Поделитесь материалом на эту тему.
  • Вопрос задан
  • 1730 просмотров
Решения вопроса 1
@AlikDex
Зачем писать свое. если добрые люди уже давно придумали?
Открываем гит, ищем crawler detect и bot detect

Сам использую этот:
https://github.com/JayBizzle/Crawler-Detect
Вроде ниче так.
Ответ написан
Пригласить эксперта
Ответы на вопрос 2
sivabur
@sivabur
Заблокировали просто так!
Юзер агенты для определения:
Гугл https://support.google.com/webmasters/answer/10619...
Яндекс https://yandex.ru/support/webmaster/robot-workings...

$google_query = $name_search_system + 'UserAgent';
Ответ написан
@mamayusha
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы