Нужно сделать переключение из обычного скролла в плавный (2 раза медленней) в момент самого скрола (перетаскивая мышью).
Вот пример (с небольшими комментариями):
https://codepen.io/Kushchenko/pen/GOpKro/ (скроллить только перетаскиванием, потому что при прокрутке колесом особо не видно проблемы)
Короче нужно сделать так, как на этом сайте:
https://chulakov.ru