Либо писать правила для всех путей (это долго + нужно в разметку вставлять SVG напрямую и без #use).
Либо так с двумя блоками, которые показываются по очереди при наведении:
Только для простоты нужно либо просто на фон вешать, либо выносить в спрайт и вызывать иконку через #use. Я просто SVG в разметку вставил для скорости. Мне нормально делать лень, думаю, идея будет понятна в любом случае.