Емнип скролл евент не имеет "направления" в жс, можно только отследить перемещение элемента относительно предыдущей позиции, так что никак, только если добавить 1 пиксель, и уже по нему отслеживать сдвинулось на 1 пиксель вверх/вниз или осталось прежнее направление.