В <a href=«
habrahabr.ru/blogs/image_processing/134352/>похожей задаче я просто пользовался медианным усреднением.
Как и говорили выше, если вычислить среднеквадратичное отклонение (но не от среднего, а от медианы), с большой надежностью (чем больше точек — тем лучше) получим что-то вроде центра тяжести, вокруг которого в круге с радиусом σ будет находиться наибольшее количество точек.
Еще вариант: как было предложено выше. Т.е. преобразовать эти точки в изображение, дискретизуя с большим шагом. Найдя „пиксель“ с наибольшей интенсивностью (количеством точек) перейти к меньшей дискретизации. Эдакая вариация дихотомии.
Есть еще вариант: построить вокруг точек выпуклые непересекающиеся оболочки максимальной площади, содержащие ровно по одной точке. Функция распределения площади оболочек от координат даст понятие распределения плотности точек. Но эта задача сложна математически, да и вряд ли нужно так усложнять, когда предыдущие способы вполне сгодятся.