Аргументы за SVG:
1) т.к. это вектор, то иконка "весит" одинаково независимо от размера
2) в зависимости от способа подключения иконок их стиль можно менять через CSS
Аргументы против SVG:
1) т.к. это вектор, то про скевоморфизм можете забыть, он сейчас не в тренде конечно. но хз. что у вас там за иконки предполагаются
2) если размер иконок маленький (например 12х12 пикселей), то в некоторых случаях PNG будет "весить" сильно меньше
3) поддержка старыми (особенно мобильными - Android 4.3, iOS6) браузерами оставляет желать лучшего
Аргументы против растра (JPEG, PNG):
1) чем больше размер, тем больше вес
2) если надо поменять цвет иконки, то нужно запускать графический редактор или звать дизайнера
Аргументы за растр:
1) поддерживается даже на Nokia 3310