Для зума подписываетесь на wheel и применяете transform: scale()
С перетягиванием чуть сложнее:
При событии mousedown начинаете слушать mousemove
При mousemove сдвигаете объект (translate)
При mouseup или mouseleave - прекращаете слушать mousemove
(в некоторых либах оно есть готовое, называется "drag" или типа того)
Библиотек для SVG
вагон и тележка, при этом почти все они могут работать и с jQuery.