Как отфильтровать ботов для аналитики?

Question

[Applevu]

Здравствуйте!
Есть скрипт, который при переходе по ней определяет модель телефона, ip пользователя.
После того, как я закидываю скрипт на свой сайт - в самом блокноте, куда приходят эти данные, появляются очень много системных ip, тот же гуглбот, который переходит по ссылкам, на сколько я понимаю, для индексации сайта. Причем эти боты поисковиков делают это постоянно. Каждый день. Также боты поисковиков заходят на мой сайт через эмуляторы телефонов.
Создал сайт, закинул скрипт сбора данных. Сам не перехожу по ней, через время открываю и вижу в блокноте данные, что зашли с компьютера, с самсунг телефона, с айфон. Возможно, поисковики открывают мой сайт с разных гаджетов для проверки, как они загружаются через определенный девайс.

По итогу, я не могу понять, кто из них реальный человек, а кто - боты поисковиков. Приходится каждый ip проверять на принадлежность к поисковика.

К примеру, если мне это нужно для бизнес-статистики, то получается, что половина переходов на мой сайт осуществляется ботами, а не людьми.
Есть ли скрипт, который помогает фильтровать весь этот мусор на «робот», и «юзер»?

Comments

[wisgest]

Если речь только о поисковых роботах (впрочем, и многих других более-менее приличных собирающих статистику), то в User-Agent всё видно. (Но это, конечно, не значит, что все остальные запросы сделаны людьми.)

[Дмитрий]

что мешает подключить не какой-то скрипт, а гугл-аналитику или яндекс метрику?

[xmoonlight]

Дмитрий, я писал себе лично такой и, честно, вот: заманался сильно.
но могу сказать: на 100% - он не работает никак, но считает реальных гораздо лучше, чем GA и ЯМ вместе взятые.

[Дмитрий]

Кто мешает написать простенький скрипт, который будет вместо тебя ходить и проверят айпишники?

[Дмитрий]

xmoonlight, естественно 100% аналитика ловить не будет
хотя бы по тому, что у части стоит адблок и она отфильтруется

чтоб надежно ловить всех, надо не писать свой скрипт, а брать серверные логи + splunk

[xmoonlight]

Дмитрий, причём тут adblock?!)))
Я смотрю только серверный лог обращений к страницам, на js - вообще пофиг, т.к. там точно всё попортят и запутают скрипт ещё больше.
Тайминги и запросы: страница+ресурсы к ней: грузится как обычно - скорее это браузер, страница без полной загрузки всех своих ресурсов - 100% бот.
И много чего ещё в плане заголовков, ip+rdns и реал-тайм-аналитики всей метрики...

[Дмитрий]

xmoonlight, некоторые варианты блокировщиков рекламы умеют вырезать и гуглоаналитику с яндексом

[xmoonlight]

Дмитрий, да, и greasemonkey с тучей моих личных скриптов - режут почти всё... Поэтому я и не доверяю js-аналитике по-умолчанию.

Answer 1

[Dimonchik]

прощe всего через Cloudflare

Answer 2

[xmoonlight]

Создавал себе сам.
Я смотрю исключительно на серверный лог обращений к страницам и без какой-либо js-аналитики на страницах.
Тайминги и запросы: страница+ресурсы к ней: грузится как обычно - скорее это браузер, страница без полной загрузки всех своих ресурсов - 100% бот.
И много чего ещё в плане заголовков, ip+rdns и на основе исторических накопленных знаний ("весов") реал-тайм-аналитики всей метрики...