Цвет при клике на кнопку меняется, но надо, чтоб при повторном нажатии цвет менялся обратно на исходный. К примеру, нажали на кнопку - белая фигура стала синей, нажали на кнопку еще раз - она стала опять белой. Пробовал toggle, не получается. Это с SVG прокатывает? Пример здесь
C svg прокатывает только в том случае, если вы не задали цвет в самом svg, а вы это сделали.
Заданный в svg цвет через CSS переопределить нельзя. Если только вы не меняете значение атрибута с помощью js