openGL тут вообще ни при делах никаким боком.
Можно попытаться обучить YOLO на датасете из фоток графиков попсовых функций, это наверное самый прямой способ.
Другой способ - это вытаскивать из картинки табуляцию неизвестой функции, после чего пытаться угадать, что это, всякими математичекими методами.