Где найти документацию по анализу поведения пользователей из логов?

Question

[Денис Ильиных]

Подскажите статьи для изучения темы по анализу логов Nginx или Apache для выявления ненормального поведения клиентов. Для выявления роботов/парсеров/скрипткидди

Хочется взять готовое решение для анализа или почитать методы определения , для реализации такой программы.

Answer 1

[other_letter]

Насколько мне известно подобные решения обычно основываются на риалтайме, а не на логах. Вы уверены, что это необходимое требование?

Comments

[Денис Ильиных]

Я хотел бы вникнуть в тему обнаружения а логи можно писать в pipe и в реалтайме их обрабатывать.

[other_letter]

Денис Ильиных: Дело в том, что известный мне класс систем обнаружения проникновений (IDS) и аномалий работает с бОльшим пластом данных. Как минимум плюс счётчики производительности, датчики нагрузки и прочая.

Answer 2

[index0h]

Для анализа поведения пользователей нужно собирать статистику действий этих пользователей. Пример: пользователь зарегистрировался и сделал оплату. С логов веб сервера вы такую стату не снимите. Есть более умные трекеры, типа piwik. Для сложных кейсов - логгирование делается вручную.

Comments

[Денис Ильиных]

Расставить метрики не проблема. Но задача пока не так глубоко. по логам тоже можно вычислить аномальное поведение, например вход без рефа, работа с сайтом без js, получение страниц напрямую без истории и точки входа. Вот и хотелось бы почитать про факторы и методы такого анализа. Не углубляясь в метрики.

Answer 3

[Арсений Кравченко]

Задача поставлена некорректно. Попробуйте переформулировать из "я хочу найти что-то странное в логах" в "я хочу находить в логах такие-то конкретные аномалии".
А вообще на тему anomaly detection очень много статей, выбирайте под задачу.

Comments

[Денис Ильиных]

Спасибо :) почитаю