Какой лучше выбрать алгоритм для кластеризации большого количества данных?

Question

[olav24]

Я хотел бы подобрать алгоритм, который будет делить набор из 10 млн строк примерно на 12 кластеров. Например, самый известный kMeans в данном случае не подойдет из-за экспоненциальной сложности алгоритма. Есть ли какой-то алгоритм для такого количества данных, но при этом выполнение которого будет занимать адекватное колитчество времени?

Answer 1

[dmshar]

Вы не сообщили главного - в сколько параметров описывают ваши данные?
При двух-трех параметрах время вряд-ли будет катастрофически долгим.

Тем не менее.
Попробуйте DBSCAN например. Он не требует обработки всех данных на каждом шаге. Его вычислительная сложность O(NlogN), в худшем случае - O(N**2). Вот тут https://habr.com/ru/post/322034/
его рекомендуют для случая, когда у вас данных порядка 10**6 и даже больше, если можете распараллелить реализацию.

Answer 2

[zexer]

А вы уже пробовали использовать k means или просто предположили, что будет долго?