Забудьте пока что про Фурье. Для начала разберитесь со сверткой. Начните с одномерной свертки. В приведенном уравнении нет яркости и цвета, это ядро свертки. Если у вас цветное изображение, то обычно фильтрация идет по каждому каналу r, g, b.
Часто ошибка бывает в том, что забывают то, что градиент имеет направление в сторону увеличения функции. А для поиска минимума нужно использовать градиент со знаком минус - антиградиент. Возможно что тут такая же ошибка.
Еще лучше использовать статстческую информацию о цвете объекта и фона и, на основании этого, расчитать весовые коэффициенты для оптимальной сегментации.
Что значит лучше фильтра Байера? Каков критерий лучшести?
Фильтр Байера это по-сути три RGB фильтра. Их спектральные характеристики приводятся в документации на матрицу.
Сергей Ильин, можно не искать линии, на данной картинке, думаю, сегментация по цвету в hsv справится.
Так же можно попробовать обучить Tesseract рукописным символам, т.к. внутри него нейросеть.