Какой User-Agent у бота вконтакте?

Question

[aymeshkov]

На самом деле у меня два вопроса.

1. Как отличить бота вконтакте (который парсит страницу при клике на «Поделиться»/«Мне нравится» на этой странице)?

2. Есть ли какое-то общее свойство, объединяющее всех поисковых ботов (User-Agent'ы могут кардинально отличаться, хотелось бы еще что-нибудь)?

Объясню, откуда взялся вопрос. Используем для авторизации на сайте CAS (Central Authorization Service), который затрудняет жизнь ботам — при любом запросе мы автоматически отправляем пользователя 302-м редиректом на сервер авторизации проверяя, не авторизован ли уже этот пользователь. Это здорово мешает поисковым ботам (и ботам facebook, vk) парсить страницу. Хочется для них создать специальные условия.

Answer 1

[demimurych]

По юзерг агенту не выйдет.
Вконтакте использует строку типичную для браузера.

Comments

[aymeshkov]

То есть его вообще не отличить, кроме как по ip?
Известно, с каких ip их бот ходит?

[demimurych]

По юзерагенту никак. Он не только стандарный а еще и все время разный.

Других меток бот не оставляет. Ни кукисов ни реферов.

Единственный способ по айпи, но и тут не все так просто, таких ip адресов у вконтакте много, и они часто меняются.

Если все делать надежно, то при принятии решения делать запрос к whois сервису на предмет какой сети принадлежит адрес.

Но как Вы понимаете, это сильно замедлит работу вашей страницы.

[aymeshkov]

Да, надежный вариант нам не очень подходит. Жаль они не научили его по редиректам ходить нормально.

[Todayer]

Вы пишете "Вконтакте использует строку типичную для браузера.". Это значит что юзерагент официального приложения это стандартный юзерагент браузера мобильного устройства?

Answer 2

[egorinsk]

У вас кривая система авторизации — вам ее исправлять надо, а не ботов различать. Например, как быстрое решение, вместо принудительного редиректа можно в ифрейме показывать форму авторизации.

Comments

[egorinsk]

Вообще, бесит, когда при запросе страницы тебя редиректят, не спрашивая, надо тебе это или нет.

Answer 3

[Alex0007]

Mozilla/5.0 (compatible; vkShare; +vk.com/dev/Share)

Answer 4

[dm9]

Была такая проблема. В итоге просто переписали систему аутентификации, чтобы не было редиректа. Обычно, если фреймворк сравнительно прямой, это не так сложно сделать.

Честно говоря, деталей собственно CAS не знаю, но всегда можно, например, сделать JS-обвязку и редиректить через скрипты. Пытаться распознать всех роботов — занятие неблагодарное. Потом вам этот список ещё и поддерживать придётся…

Comments

[aymeshkov]

Наверное вы правы, посмотрим в эту сторону.