Могу посоветовать такой фильтр под ImageMagick:
convert $1 -define convolve:scale=! -morphology Convolve Disk:5 -morphology EdgeIn Octagon -negate -normalize -threshold 80% -morphology Erode Disk:2 $2
Для примера получается такая картинка
Большая часть клеток детектится по белой области определенного размера, похожей на круг. Похожесть на круг можно посчитать по отношению расстояния от центра масс до самой дальней и самой ближней точки на границе.
Там правда, иногда получаются разорванные клетки... (см. верхний левый и правый углы)