1) найти объект, состоящий из соприкасающихся пикселов чёрного цвета
2) найти охватывающую рамку (диапазон по Х, диапазон по Y)
3) удалить маленькие объекты (закрасить белым)
Есть в MatLab'е тулбокс Image Processing, фукция
regionprops.
(не исключено, что сначала желательно инвертировать цвета, т.к. чёрный обычно считается фоном)