Всегда ли поисковые системы используют User Agent?

Question

[weranda]

Приветствую

Всегда ли и в обязательном ли порядке поисковые системы (роботы, пауки, различные их сервисы) представляются в user agent или бывают случаи, когда, к примеру, google или другая поисковая система или какой-нибудь из их сервисов может не представиться в user agent?
Иными словами, могу ли я однозначно выделить через user agent поисковую систему или бывают исключения?

Comments

[Adamos]

Вы в курсе, что все поисковики предупреждают о санкциях против тех, кто показывает посетителям одно, а паукам - другое?

[weranda]

Конечно знаю.

[Adamos]

weranda: судя по отмеченному ответом, КАК они это узнают - сами вы не догадались ;)

[weranda]

Adamos: Поведаете как?

[Adamos]

weranda: так, как рассказано в ответе, который вы отметили решением.
Как же еще?

Answer 1

[Максим Тимофеев]

Есть много людей, которые утверждают, что их спасли дельфины, но не видел не одного, кто сказал бы, что его утопил дельфин.

Comments

[weranda]

Максим Тимофеев Не понял вашу абстракцию. Можно по делу ответ написать?

[PrAw]

weranda: если он не представился как гугл, как выяснить, что это был гугл?

[Максим Тимофеев]

weranda: ответ очень по делу. PrAw Вам разжевал. Хотел тонко намекнуть, но видимо не получилось.

[weranda]

PrAw: Не знаю, могу только по вашему вопросу фантазировать. Если был создан сайт и на нем отслеживались все логи, а судя по логам за какое-то время сайт посещал только один какой-то робот и более никто, а спустя сутки он появился в индексе Google. Такой вот вариант выяснения того, что это был Google.

[Adamos]

weranda: если по сайту ходят только пауки, то наличие его в индексе Гугля мало чем поможет владельцу.

Answer 2

[Алексей Лебедев]

Любой пользователь, может установить любой user-agent. Так, что однозначно определить не получится.
Насчет ботов и поисковиков их много, Непосредственно это лучше узнавать у самих поисковиков.

Answer 3

[Пума Тайланд]

Поисковик ставит юзерагент на свое усмотрение, вы никак не можете его гарантировать, это все равно что сказать что человек ходит только по этой улице.