Попробуйте разделить единую svg картинку на несколько малых, далее закиньте их в единый див, где зафиксируйте положение слоев через z-index. Мне кажется, из-за ее размеров, анимация после прокрутки работает пассивно экономя ресурсы браузеры и когда возвращаетесь обратно просто не успевает восстановится, а при наведении на кнопку - часть страница рендерится снова и она восстанавливается.