Как отфильтровать ботов для аналитики?

Здравствуйте!
Есть скрипт, который при переходе по ней определяет модель телефона, ip пользователя.
После того, как я закидываю скрипт на свой сайт - в самом блокноте, куда приходят эти данные, появляются очень много системных ip, тот же гуглбот, который переходит по ссылкам, на сколько я понимаю, для индексации сайта. Причем эти боты поисковиков делают это постоянно. Каждый день. Также боты поисковиков заходят на мой сайт через эмуляторы телефонов.
Создал сайт, закинул скрипт сбора данных. Сам не перехожу по ней, через время открываю и вижу в блокноте данные, что зашли с компьютера, с самсунг телефона, с айфон. Возможно, поисковики открывают мой сайт с разных гаджетов для проверки, как они загружаются через определенный девайс.

По итогу, я не могу понять, кто из них реальный человек, а кто - боты поисковиков. Приходится каждый ip проверять на принадлежность к поисковика.

К примеру, если мне это нужно для бизнес-статистики, то получается, что половина переходов на мой сайт осуществляется ботами, а не людьми.
Есть ли скрипт, который помогает фильтровать весь этот мусор на «робот», и «юзер»?
  • Вопрос задан
  • 118 просмотров
Пригласить эксперта
Ответы на вопрос 2
dimonchik2013
@dimonchik2013
non progredi est regredi
прощe всего через Cloudflare
Ответ написан
Комментировать
xmoonlight
@xmoonlight
https://sitecoder.blogspot.com
Создавал себе сам.
Я смотрю исключительно на серверный лог обращений к страницам и без какой-либо js-аналитики на страницах.
Тайминги и запросы: страница+ресурсы к ней: грузится как обычно - скорее это браузер, страница без полной загрузки всех своих ресурсов - 100% бот.
И много чего ещё в плане заголовков, ip+rdns и на основе исторических накопленных знаний ("весов") реал-тайм-аналитики всей метрики...
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы