datamainer

openGL тут вообще ни при делах никаким боком.

Можно попытаться обучить YOLO на датасете из фоток графиков попсовых функций, это наверное самый прямой способ.

Другой способ - это вытаскивать из картинки табуляцию неизвестой функции, после чего пытаться угадать, что это, всякими математичекими методами.

Задачу можно разбить на две подзадачи:
- перевод графика в чиселки - т.е. в пару x-y. Тут надо исходить из того что там за картинка.
- по паре x-y можно математическими методами получить функцию, вот только она может быть не той что была изначально. Задача чисто математическая.

Под линуксом можно исопльзовать модуль curses, но он недоступен под виндой.
Там можно попробовать использовать сторонний модуль console.