Боты/не боты — универсальный метод отлова существует?

Question

[xmoonlight]

Коллеги, приветствую.
Встал вопрос: все запросы к сайту разделить на ботов и не ботов.

Пока, думаю сделать так:
Бот, когда в User Agent:
1. нет скобок
2. есть слово "bot" и за ним НЕ [a-z]

Не могу сделать единый regexp-шаблон для условия ветвления... Хелп.
----
Есть ли у кого иные домыслы по тому, как отсеивать?
(без словарей строк User-Agent и IP, желательно обойтись...)
Спасибо!

Answer 1

[OlegLazarenko]

/(^(?!.*\(.*(\w|_|-)+.*\))|bot[^a-z])/

Comments

[OlegLazarenko]

@xmoonlight: подправил

[xmoonlight]

Почти!...
Бот когда:
1. есть слово bot[^a-z]
или
2. нет круглых скобок

сейчас: если без скобок bot есть в строке, то результат - пустой и, если есть bot со скобками результат тоже пустой.
Это неверно.

[OlegLazarenko]

Про ИЛИ не понял сразу... Сейчас должно быть так: если нет скобок И есть bot за которым не a-z - то true.

Сейчас подправлю

[OlegLazarenko]

@xmoonlight: подправил

[xmoonlight]

@OlegLazarenko: еще капельку!!!!
остались круглые скобки: минимум: одна открытая И одна закрытая И внутри минимум одно слово из [a-z]

[OlegLazarenko]

@xmoonlight: Вы меня запутали окончательно.

Бот если:
(Нет скобок) ИЛИ ((есть bot[^a-z]) И (есть обе скобки между которыми слово)) так что ли? что считаем словом между скобками?

[xmoonlight]

@OlegLazarenko: нет.
Бот если:
(Нет скобок) ИЛИ ((есть bot[^a-z]) ИЛИ НЕТ (обеих скобок между которыми есть слово ИЛИ еще что-то кроме этого слова))
слово: [a-z0-9-_]

[OlegLazarenko]

если "нет скобок" - это уже бот, зачем еще раз проверять "НЕТ (обеих скобок между которыми есть слово ИЛИ еще что-то кроме этого слова)"??

Дайте примеры строк, со всеми вариантами

[xmoonlight]

@OlegLazarenko: одну скобку добавьте любую и будет уже не бот. а не бот должно быть если две и со словом.
строка ниже - бот:

Mozilla/5.0 compatible; MJ12botsv1.4.5; http://www.ma)jestic12.co.uk/botphp?+

[OlegLazarenko]

@xmoonlight: перечитайте, что вы написали, так НЕ бот и так НЕ бот.. Дайте четкие требования, а то начали с одного, заканчиваем третим

[xmoonlight]

@OlegLazarenko: пробую еще раз...
Бот, если:
ЕСТЬ где угодно: bot[^a-z]
ИЛИ НЕТ ( между круглых скобок"()" есть слово [a-z0-9-_]+ (любой длины))

[xmoonlight]

@OlegLazarenko: Вот этот реально работает! Спасибо!!!

Answer 2

[MilkyWay]

Боты могут и не передавать юзерагент. Или вы про поисковых роботов? В таком случае их небольшой список: 5-6 штук. Можно и захардкодить

Comments

[xmoonlight]

захардкодить всегда успеем) до этого - нужен минимальный шаблон...