внимательно смотрим на кейфрейм
@keyframes scrolly {
0% {
transform: translate3d(0,-150%,0) rotateX(90deg) scale(0.5) skewX(3deg);
}
т.е. у вас по hover на 0% сразу же выбрасывается на 150% по Y - т.е. вверх.
А надо начинать с неизмененной позиции
Быстрый пример - дальше поиграйтесь сами с процентами что вам там еще надо.