Это не совсем то, тут уже пополз в scale весь блок, выходя за границы, и хотя эта проблема решается засовыванием во враппер, но тогда получается проблема с outline - при ховере рамка сдвигается к границам + во время анимации толщина рамки прыгает.
Хотелось бы достичь варианта, где рамка стоит на месте, а двигается только картинка.
nhpmi, Сделай рамку отдельным абсолютным блоком поверх всего. Чтобы не мешался - pointer-events:none. Или четыре отдельных блока, по одному на сторону, если pointer-events нельзя использовать.