Нашел два варианта решения:
1. Можно вместо href="image.png" задавать href="/image.png", тогда со всех страниц будет указываться абсолютный путь к картинке и все будет работать как нужно. Однако этот вариант не сработает, если приложение расположено не в корневой директории сайта.
2. Подгружать из assets через href="@/assets/image.png". Для стилей и динамических путей можно использовать:
:style="{backgroundImage: `url('${require('@/assets/boat.jpg')}')`}"
Всем удачи :)
