Могу посоветовать такой фильтр под ImageMagick:
convert $1 -define convolve:scale=! -morphology Convolve Disk:5 -morphology EdgeIn Octagon -negate -normalize -threshold 80% -morphology Erode Disk:2 $2
Для примера получается такая картинка
![b796d203c3c547b3b525b232625b084f.jpg](//habrastorage.org/files/b79/6d2/03c/b796d203c3c547b3b525b232625b084f.jpg)
Большая часть клеток детектится по белой области определенного размера, похожей на круг. Похожесть на круг можно посчитать по отношению расстояния от центра масс до самой дальней и самой ближней точки на границе.
Там правда, иногда получаются разорванные клетки... (см. верхний левый и правый углы)