Смотря какие картинки. Бывает такая графика на сайте, которая действительно в svg может дать экономию "веса" файла в несколько порядков. Например, большие фоны, особенно абстрактные.
Но бывает и наоборот, когда, как ни странно, оптимизированный png может быть меньше чем svg- бывают такие svg в которых огромное число точек и сократить нет возможности.
По опыту, например, небольшой логотип в размерах 100-200px по ширине может быть в svg больше png такого же размера, если в нем есть существенные шрифтовые элементы.
Аргумент "чтобы меньше весил" чаще всего не есть важнейший при выборе формата графики. Целесообразность того или иного формата определяется конкретными условиями.
