Изначально у ссылок нет нижней рамки.
При наведении она появляется, блок увеличивается и смещает всё содержимое.
Добавьте нижнюю рамку (прозрачную) изначально для ссылок.
А при наведении просто окрашивайте её в нужный цвет.
Пример:
https://codepen.io/hisbvdis/pen/RwbJaaL