Вы переводите трехмерную информацию в двумерную, это ведет к потере информации. Отсюда проистекают дальнейшие "трудности". Понятно что количество звезд в кадре вы посчитать не сможете, а сможете лишь посчитать количество точек - проекций лучей звезд на двумерную плоскость. Понятно что, для того чтобы получить хоть какой-то результат нужно прибегать к методам статистической оценки.
Я бы построил график который для каждой смежной закрашеной области показывал бы ее величину, например количество точек входящих в смежную область. Для данного изображения получится сначала медленно поднимающаяся (много маленьких точек разного размера) и потом резко уходящая вверх кривая (большая область. Так можно будет выявить диапазон допустимых значений для размера звезды, на этом расстоянии. Т.е правую часть графика вы отсечете. Все остальное будут "наверное звезды".
Да и для засвеченой области можно применить какую нибудь экстраполяцию. Допустить что звезды по небу распределены равномерно. Для такой задачи где нельзя получить правильный ответ, любой метод приближенной оценки сгодится.
Говоря в общем:
Если человек не в состоянии решить аналитическую задачу, то компьютер не поможет. В данном случае человек не сможет толком сказать сколько звезд на этом двухцветном снимке. Он прибегнет как какой то эвристике. Вот эту эвристику и нужно заложить в алгоритм.
