присоединюсь.
1/ для чистки - ищите длинные параллельные линии - это линии тетради, их надо будет как-то скрыть (например, маской)
2/ Потом перевести все в черно-белое (уровень подбирать индивидуально)
3/ дальше - ваша фантазия. Вейвлеты, графы, нейронки...
Сергей Ильин, можно не искать линии, на данной картинке, думаю, сегментация по цвету в hsv справится.
Так же можно попробовать обучить Tesseract рукописным символам, т.к. внутри него нейросеть.