Максим

А что, если создать дополнительный блок и задать ему в CSS:
filter: invert(100%);
Только нужно что-то придумать с цветом фона

Вы обрабатывает только input события. Попробуйте вынести отдельно функцию обновления и вызывать её ещё и при клике на +/-

Ну так сделайте, как думаете, это же ваш проект, только вы решаете, какие технологии использовать.
Конкретно в вашем случае нет четких правил, как это реализовывать.

Попробуйте вынести в отдельные функции показание результата и прибавление баллов.
При каждом нажатии вызывайте функцию, которая будет прибавлять баллы, а после теста показывайте результат, вызывая другую функцию.