Если не ошибаюсь, то у IE есть такая особенность работы button. При :active происходит "системная" имитация нажатия и SVG здесь не при чём. Если поместите простой текст в кнопку, произойдет то же самое.
Починить (
JSFiddle) можно, если содержимое кнопки обернуть в дополнительный тег и задать:
position: relative;
left: 0;
top: 0;
А ещё можно просто заменить button на тег a, или оставить всё как есть и забить на IE-юзеров.