Если я правильно тебя понял, проблема в том что у тебя срабатывает скролл ивент даже тогда, когда элемент уже на экране, а ты хочешь чтобы срабатывал только при первом появлении.
Попробуй
https://developer.mozilla.org/ru/docs/Web/API/Inte...
Он позволяет отслеживать появление элементов на экране, в том числе их текущее положение (свойство isIntersecting). Используя этот флаг ты можешь задать когда ты хочешь делать скролл.