Странные боты с включенным javascript

Question

[Nodge]

Доброго вечера, хабравчане.

Со второго сентября наблюдаю у себя в проекте интересную картину: по сайту непрерывно ходят боты, по 1-2 запроса в секунду (100к+ просмотров в сутки), судя по аналитике. Особенности этих ботов:
— Игнорируют robots.txt.
— Представляются исключительно как IE6-8.
— Ведут себя как полноценный браузер: выполняют javascript, принимают cookie и пр.
— Открывают ровно по 2 страницы за сессию (затем сбрасывают cookie?), переходят по ссылкам с главной.
— Не отправляют (даже не пытаются) формы.
— Географически заходы идут со всего мира, но большая часть из NY.

Сколько-нибудь ощутимой нагрузки они не создают, но зато портят аналитику. Да и интересно, что это и кому это надо? Раньше как-то не сталкивался.
Подскажете?

UPD: Посмотрел по логам на сервере, боты делают по примерно 5-6 запросов в секунду. В заголовках ничего необычного не нашел, чтобы безопасно отсеять не задев пользователей.

Comments

[xave]

А HTTP_REFERER у них указан?

[Nodge]

При первом заходе на главную — нет. Затем реферер заполняется главной страницей, редко какой-либо внутренней (видимо когда делается 3 перехода). Все как при нормальном серфинге.

Answer 1

[egorinsk]

Интересная тема.

Может быть, какие-то показатели накручивают, например, переходы из поисковиков? Может, в этих ИЕ установлены тулбары и накручивают цифры в них? Может, проверяют ваш сайт на нагрузку?

Поймать бота можно попробовать сделав невидимую (через CSS) ссылку за краем экрана. Человек по ней не кликнет, а бот, перебирающий HTML-код или анализирующий дерево DOM, попадется. Можно попробовать слушать событие mousemove — живой человек двигает мышкой, в отличие от бота.

Также, может стоит померять расположение окна на экране у этих ботов? (наример, как описано тут: stackoverflow.com/a/504097 ). Ведь если это реальный ИЕ, управляемый вирусом, то скорее всего окно задвинуто за край экрана, чтобы не мешать пользователю.

Comments

[alex_bel]

Боты с js могут легко определить виден ли элемент на экране или нет.

[egorinsk]

Легко — не могут. Если это ссылка, поверх которой показан белый непрозрачный див? Если это ссылка, состоящая из маленькой прозрачной картинки? Замучаеетсь код писать для проверки.

[alex_bel]

>ссылку за краем экрана.
>Боты с js могут легко определить виден ли элемент на экране или нет.
Так понятней?

И еще. То что боты представляются как IE — ничего не значит. Это может быть headless browser и расположение окна у них измерять бессмысленно.

[egorinsk]

Могут быть, а могут и не быть. Подозреваю, вирусописателю проще использовать гарантированно имеющийся в системе ИЕ, который легко подключается как компонент в программу, чем писать, настраивать, распространять и отлаживать свой движок.

В любом случае, проверить ИЕ это на самом деле или нет, несложно. Все его многочисленные баги так просто не сэмулируешь.

Answer 2

[dm9]

Да, у себя тоже похожее замечал.
Часть роботов смог вырубить, используя вот этот сервис: www.stopforumspam.com
Пример обращения к API: www.stopforumspam.com/api?f=json&unix&confidence&ip=8.8.8.8
Правда, там ограничение до 20000 запросов в сутки. Если использовать массовые запросы, можно проверить до 100000 IP в сутки. Мне хватает :)
Из недостатков — они работают именно с отдельными IP. Когда просматриваю логи «руками», достаточно очевидно, что некоторые запросы идут из той же подсети, и формируются теми же роботами. Но сервис этого не учитывает. Допилить это, анализируя подсети, руки не дошли пока…

Comments

[netnikogo]

у stopforumspam есть возможность скачивать базу несколько раз в день www.stopforumspam.com/downloads/

[dm9]

Вот это нифига себе. Как я такое мог пропустить, интересно :-) И там же есть «плохие» подсети — как раз то, о чём я говорил выше. Спасибо!

Answer 3

[vinograd19]

некоторые боты не хотят грузить картинки. Попробуйте посмотреть, грузят ли ваши.

Answer 4

[Андрей Ширяев]

Они много чего могут делать. Скажем парсить вас, если без js не вариант или слишком мутарно, или могут скажем рекламу скликивать контестную.

Comments

[Nodge]

Парсить нечего — у нас веб-сервис. Вся инфа в аккаунтах и доступна только одному пользователю. Во внехе — 3-4 страницы (вход, регистрация и подобные). Рекламы тоже нет. Вот и не понятно что им надо…

Answer 5

[Максим Дьяченко]

Чьи AS? Это рученые сервера или зомби рабочие станции?
В порядке бреда — может тренируют зомбаков? т.е. как вариант хождение ботов по нормальным сайтам для того чтобы набить статистику посещения этими ботами разных сайтов, чтобы поисковики воспринимали ботов более правдоподобно.
Еще как вариант — склики рекламы для получения бана у рекламных сетей…
Попробуйте сами проверить насколько рабочий у них жс. Может просто обманывают проверку у статистики?
Как вариант испытание ботов.

Comments

[Nodge]

Честно говоря, не понял что такое AS…
Так как в логах множество разных IP, думаю это рабочие станции с вирусней. С одного IP максимум — 15-20 визитов.
У меня не самый подходящий проект для тренировки зомби — доступные им страницы простые и их совсем мало. Это веб-сервис с простенькой сайтовой частью. Рекламы тоже нет.
JS у них точно рабочий, т.к. они корректно делают ajax запросы.
Технически мне все относительно понятно: скорее всего есть ботнет на зараженных пользовательских машинах с msie, которые делают запросы. Вопрос только что нужно тому, что натравил ботов… Подбора паролей нет, на поиск уязвимостей как-то не похоже. К сожалению, пока ситуация не проясняется…

Answer 6

[ak40u]

Столкнулся с такой же проблемой - 80% моего трафика это боты. Они могут быть с разных стран, но в основном США. Могут быть direct, а могут приходить с гугла. Но объединяет их вот что:

1. Не двигается мышь в вебвизоре.

2. Можно подумать, что люди с планшетом, но страница не скролится на протяжении всей сессии.

3. Бот приходит на одну из страниц, открывает еще одну и сессия заканчивается.

4. Средняя продолжительность их сессий 20-30 секунд.

Как их отвадить с сайта?

Comments

[Nodge]

Год назад боты сами перестали ходить на наш сервис, примерно спустя месяц после начала. Каких-то специальных действий мы в итоге не предпринимали, потому что они нам никак не мешали.

Немногим позже после того случая мы стали использовать cloudflare - с тех пор ботов вообще не видели. Как вариант.

[ak40u]

Перенес сайт на cloudflare. Спасибо за ответ.