Monnoroch

Ничуть не ясно, уж простите.

Очень важен навык задушить свой перфекционизм и делать так, как успеешь вовремя, а не так, как красиво.

Кстати, если вам не нравятся графические эвристики — есть способ даже лучше.
А именно посчитать мат. ожидание и дисперсию вашего списка точек. Это займет линейное время, а требуемой областью скорее всего будет круг с центром в мат. ожидании и радиусом в корень из дисперсии.
Не уверен, что всегда сработает именно такая постановка — может оказаться слишком большой разброс, однако очевидным плюсом будет линейное время работы. А сложные штуки с ползающей рамкой можно применять как запасной метод на случай большой дисперсии.

Чтобы найти данное скопление достаточно применить к картинке фильтр усреднения цвета. Он сотрет все одинокие точки, а пятно оставит да еще и размоет, убрав шум. Искать пятно легко, много алгоритмов готовых есть. Но что вы будете делать, если явного пятна не будет?

Решение станет понятнее, если определиться с задачей. Я вот не очень понимаю, что такое скопление точек, да еще и максимальное.
1) Есть много вариантов: такой квадрат со стороной A, что в него попадает точек больше, чем в любой другой квадрат с такой же стороной.
2) То же, только с кругом и радиусом.
3) Такая точка плоскости, что сумма расстояний до всех данных точек минимальна.
И это только навскидку.

Для разных задач решения разные.