@Iworb попробуйте поискать в области морфологии. Поищите статью "Метод морфологических амеб", у меня была тема магистерской как раз по выделению сосудистых структур, но она плавно трансформировалась в смежную тему. А тот метод я реализовывал на Matlab, хорошо выделялись сосуды на тестовых изображениях, но после существенной предобработки.