В общем случае надо отслеживать ховер только на паддинге. В принципе поверх паддинга можно кинуть любой блок, но тогда он будет перехватывать события (у изначального блока тоже есть обработчики событий).
Для иллюстрации и поиграться -
https://codepen.io/nanto-work/pen/BbGZMb
Так вот, нужно точно такое же поведение, кроме того, что ховер на красном квадрате не должен работать.
Ну и не думаю что будут уместны какие-то "тяжеловесные решения", вроде отслеживания координат.