Можно, конечно, за неправильные ответы вообще никакие баллы не давать, но можно поступить и так:
Пусть prav - число правильных ответов, neprav - число неправильных.
Введем обозначение: X = (prav/2 - neprav/3), Q = (X + abs(X)) * 50%
Тогда полученное значение Q - выставляемый процент. В случае, когда число неправильных ответов превышает число правильных, выставляется нулевое количество процентов.
