Есть ли какой опыт по кластеризации пользователей по логу активности?

Question

[Nik]

Есть задача кластеризовать пользователей по логу активности с форума. Конечная цель разделить деятельность пользователей на хорошую и подозрительную с точки зрения выполняемых действий. Есть ли у кого-нибудь опыт и кейсы реализации подобной задачи?

Answer 1

[a4tunado]

Это задача бинарной классификации на основе поведения (детектор аномалий).

Нужно хорошо продумать какие признаки пользователя (сессии) ты можешь извлечь из лога.

Одно из возможных решений - ассоциативные правила: en.wikipedia.org/wiki/Association_rule_learning

На выборке данных с хорошими пользователями обучаешь модель (формируешь правила). На тестовых сессиях оцениваешь качество детектора (правильную и ложную классификацию). Если качество не устраивает добавляешь новые признаки в модель.

Answer 2

[azShoo]

А можно как-нибудь конкретнее, что вас интересует?
Эвристики подозрительного - не подозрительного поведения? Способы отслеживания этой самой активности? Кластеризация активностей по пользователям? Что?

Comments

[Nik]

Проблема и заключается как-раз таки в том, что нет априорных эвристик. Кластеризация, отчасти, и производится для формирования подобных эвристик. Как, затем, к этим эвритсикам отнести новые вектора - очевидно(нейросети можно использовать или иной инструмент "обучения с на базе априорных знаний"). Были бы интересны любые практические материалы по методике формирования эвристик на базе лога или дальнейшей классификации действий пользователей по этому своду.