Как определить популярных поисковых роботов?

Question

[Ken Jee]

Кто-нибудь сталкивался с задачей определить роботов популярных поисковых систем? Где можно подсмотреть список их User-Agent. Реализовывать собираюсь на PHP. Поделитесь материалом на эту тему.

Answer 1

[AlikDex]

Зачем писать свое. если добрые люди уже давно придумали?
Открываем гит, ищем crawler detect и bot detect

Сам использую этот:
https://github.com/JayBizzle/Crawler-Detect
Вроде ниче так.

Comments

[Ken Jee]

О! Присмотрюсь! Спасибо!

Answer 2

[sivabur]

Юзер агенты для определения:
Гугл https://support.google.com/webmasters/answer/10619...
Яндекс https://yandex.ru/support/webmaster/robot-workings...

$google_query = $name_search_system + 'UserAgent';

Comments

[Ken Jee]

Огромное спасибо!

Answer 3

[mamayusha]

snipp.ru/view/78