Добрый день. Последнее время мой сайт посещает в вялотекущем режиме небольшая армия ботов. На ддос не похоже, так как ботов примерно в 3 раза больше, чем людей и на саму производительность сайта это не оказывает существенного влияния.
Проблема тут в другом. Эти боты рандомно тыкают на ссылки, в том числе на рекламу, перемещаются по сайту. Рекламные площадки могут меня либо забанить за накрутку, либо прекратить со мной сотрудничество, так как накрутка налицо, хотя занимаюсь ей не я.
Так же эти боты мешают анализу работы сайта - они размывают поведенческие факторы, статистику посещений и прочие метрики. Определить бота можно только через вебвизор, он не скролит страницу и не двигает мышку, только один раз, чтобы рандомно нажать на ссылку на сайте. Посещает 2-3 страницы и уходит.
Ходят боты со всего мира. Это и компьютеры, и смартфоны. Используют прямые заходы на различные страницы.
Я не придумал ничего лучше, как закрыть свой сайт с помощью iptables от всех стран, с которых посещений до нашествия ботов почти не было. Это позволило сократить кол-во ботов в несколько раз, но все равно они есть. Они ломились раньше со всего мира, теперь с ограниченной его части. Но хочется избавиться от них совсем.
Прошу просто совета, как можно справиться с такой напастью в моем случае. Технические средства я сам придумаю. Сейчас я просто не могу понять, в каком направлении действовать. Кто и зачем это делает - ума не приложу. Сайт не коммерческий, информационный. Никому ничего не продаю. Это просто мой блог с банерной рекламой директа и adsense. Посещаемость реальных людей - 5000, с ботами 20000 было, сейчас где-то 1000-1500 ботов в сутки.
Я сначала просто ждал, думал, надоест вредителям. Но, похоже, не надоедает. Надо как-то действовать. Решение с запретом целых стран мне не очень нравится, но ничего лучше пока не могу придумать.
Не парьтесь - алгоритмы рекламных площадок достаточно умны, чтобы противостоять таким вещам.
А в плане порчи статистики - настраивайте поведенческие факторы.
Написать небольшой скрипт, который по первому события скрола или движения мыши, отправляет аякс запрос на ваш сервер. Предварительно погуглить что с этими событиями на смартфонах. То же для клика.
Потом сравнить со статистикой заходов и побанить IP, которых нет в первом массиве, но есть клики.
Можно дополнительно проанализировать IP из бан-листа и попытаться выявить закономерности. Например, они все могут быть в диапазонах хостеров, т.е. это явно прокси и весь диапазон можно вносить в бан-лист.
