Подразумевается что ваш основной скролл находиться у html, если это так, то есть простой способ убрать скачок при открытии модального окна. Суть его в том что при открытии модального окна у Html убираем скролл а для body, добавляем трек для прокрутки скролла, но самого скролла там не будет. Если у Html скролла нет, просто вешаем на него overflow: hidden

const onOpen = () => {
        // проверяем есть ли скролл у html
        if(document.documentElement.scrollHeight !== document.documentElement.clientHeight){
            document.documentElement.style = 'overflow: hidden;'
            document.body.style = 'overflow-y: scroll;'
        } else {
            document.documentElement.style = 'overflow: hidden;'
        }
}

const onClose = () => {
            document.documentElement.removeAttribute('style');
            document.body.removeAttribute('style')
}

так же подходом можно использовать и scrollbar-gutter, если поддержка вас устраивает.