Проблема была из-за появляющихся элементов, AOS думал что элемент на котором висит анимация появляется раньше и показывал его соответственно когда пользователь еще не доскролил до нужного элемента.
Решил все это фиксированной высотой для появляющихся элементов.
