Обязательно Python? Требуется web или standalone решение? Посмотрите в сторону того, что называется LMS (learning management system), но там всё большей частью PHP-шное:
blog.capterra.com/top-8-freeopen-source-lmss
Весьма распространённая и развитая LMS - moodle (PHP). На ней сделана, нпример, система дистанционной подготовки по информатике Московского Центра Непрерывного Математического Образования:
informatics.mccme.ru
В moodle есть какая-то интеграция с мат. формулами:
https://docs.moodle.org/archive/ru/Формулы_в_форма...
www.wiris.com/ru/solutions/moodle
cyberleninka.ru/article/n/ispolzovanie-moodle-v-pr...
Есть какие-то python api к moodle:
https://github.com/mrud/moodle-api
https://pypi.python.org/pypi/moodle/0.0.1
https://github.com/asayler/moodle-ws-python
Теперь про то, что сделано именно на python.
https://djangopackages.org/grids/g/lms/ - попытки создать LMS на Django
Ну и есть ещё такая штука как edx-platform на python, см. здесь:
https://github.com/edx
https://github.com/eduNEXT
PS. В Вышке люди писали работы на сходную тему:
https://www.hse.ru/edu/vkr/85211258
https://www.hse.ru/edu/vkr/85268079