В Матлабе можно применить стороннюю библиотеку OCR (примеры). Что уж там внутри, по-моему не важно, люди наверняка перепробовали разные варианты. Вам осталось только взять готовое решение.
Matlab, Python и R базируются на Java, поэтому лучше переключаться на верхний уровень, где есть алгоритмы и удобные библиотеки, а не программировать на нижнем уровне.