Как определить ненастоящий user-agent и стоит ли их блокировать?

Приветствую

Кто посещает сайт? — Люди и боты. Люди пользуются браузерами, боты — ХЗ чем, наверное, всем что только можно. Хотелось бы получить опыт и рекомендации знающий людей по этому вопросу.
По большому счету, истинными пользователями сайта являются люди и поисковые системы, все остальное — лишнее, ну, может быть, еще несколько полезных сервисов, поправьте меня если ошибаюсь.
Со временем все больше задумываюсь о блокировке нежелательных ботов, по чуть-чуть их с разных сторон отправляю куда подальше. Сейчас задумался над блокировкой ПО с фиктивными user-agent, хотя бы какую-то часть это действие отсечет. И всвязи с этим есть вопросы к вам:

  1. существует ли в сети скрипт определения всех действующих user-agent по браузерам, их версиям и операционным системам или "все сам, все сам, ручками"?
  2. если имеется такой скрипт, то интересно его поведение/алгоритм работы при появлении новых версий браузеров и ОС — что произойдет?
  3. следствие из предыдущего вопроса: неужели придется как-то отслеживать все новые версии браузеров, ОС и ПС или имеются какие-то варианты?
  4. стоит ли оно того?


P.S.
В целом задача такова — не представился или представился, но ненастоящими браузером или одной из поисковых систем, то "добро пожаловать на пастбище ботов".

P.P.S.
Да, я понимаю, что бот может подставить и корректный user-agent, но сути вопроса это не меняет.
  • Вопрос задан
  • 1288 просмотров
Решения вопроса 1
webinar
@webinar Куратор тега Веб-разработка
Учим yii: https://youtu.be/-WRMlGHLgRg
Вы идете по стопам ДонКихота. Это война с ветряными мельницами, которая напряжет только часть ни в чем не повинных пользователей. Боты будут тихо смеяться наблюдая за этим.

существует ли в сети скрипт определения всех действующих user-agent по браузерам, их версиям и операционным системам или "все сам, все сам, ручками"?

А при чем тут скрипт, тут просто список их нужен. Скрипт - там перебор простой. Но какая вероятность, что в списке все учтено и он свежий?

если имеется такой скрипт, то интересно его поведение

Берет список, перебирает, сравнивает с Вашей строкой. Читать про циклы и условные операторы.

неужели придется как-то отслеживать все новые версии браузеров

Да ну нет конечно. Разработчики браузеров, перед тем как выкатить свой код, обязательно позвонят Вам предварительно. И разработчики гугла сидят и думают:
- Давай не будем менять имя поискового бота, вдруг weranda заблокирует его.
- Точно, надо позвонить предупредить
- Да и вообще по интернету найти все списки подобные и подобавляться
- Отличная идея, нам же как раз заняться не чем

стоит ли оно того?

нет. Не вижу не единого плюса и кучу минусов.
Ответ написан
Пригласить эксперта
Ответы на вопрос 3
стоит ли оно того?

нет.
поменять юзер-агент боту - 1 секунда.
Ответ написан
CityCat4
@CityCat4
Если я чешу в затылке - не беда!
блокировкой ПО с фиктивными user-agent

Вы сначала определение того, что есть фиктивный User-agent дайте :) Я Вам за минуту накидаю столько юзерагентов - ни разу не фиктивных - что удивитесь :) Вы всерьез думаете, что мир вертится вокруг двух-трех дистрибов?

Mozilla/5.0 (compatible; Konqueror/14.1; Linux) KHTML/TDEHTML/14.1.0 (like Gecko) - вот это юзерагент. Самый что ни на есть настоящий
Mozilla/4.0 (compatible; MSIE 4.01; Windows NT 5.0) - вот это тоже юзерагент. И не менее настоящий :)
Lynx/2.8.3dev.6 libwww-FM/2.14 - и вот это - юзерагент!
Mozilla/5.0 (X11; U; Linux x86_64; en-CA; rv:1.4) Gecko/20030624 Netscape/7.1 (ax) - и даже это - он :D
Ответ написан
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы