Роберт Емельянов

Иконка состоит из окружности вокруг и элемента, который описывает внешнюю фигуру. Грубо говоря, стрелка по центру это не иконка, а то, что осталось. И принимает она цвет background своего родителя. Можно добавить обёртку для svg и менять у неё background-color. Либо попросить дизайнера отрисовать иконку по-другому

Дело в том, что у кнопок по умолчанию есть padding.
Это хорошо видно через инструменты разработчика.
И эти паддинги нужно убрать либо сделать одинаковыми со всем сторон.

Ещё, подумайте о том, что пользователь по вашему сценарию может зацепиться только за область 2х2 пикселя. Это очень мало.
Вместо обводки используйте либо бордер либо внутреннюю тень. Чтобы размер самой кнопки был больше.