Как определить useragent, заведомо принадлежащий ботам и т.п. (не реальным посетителям)?

Question

[Андрей Привалов]

Если ли какой либо список или набор правил, по которым можно определить useragent, принадлежащий реальным посетителям?

Цель: отделить все запросы, приходящие от ботов (в том числе поисковых систем) и прочего мусора от запросов, приходящих от реальных посетителей через браузер.

Answer 1

[egor_nullptr]

www.robotstxt.org/db.html
www.botsvsbrowsers.com