Можешь отслеживать зажатие мыши над элементом. После чего читать движение влево вправо и на это же расстояние двигать скролл
document.getElementById('block').mousemove = function(e) {
if (e.which == 1) {} // Нажата левая кнопка мыши
if (e.which == 2) {} // Нажато колёсико мыши
if (e.which == 3) {} // Нажата правая кнопка мыши
}
В целом можешь между срабатываниями считать разницу в координатах и менять значение у елемента element.scrollLeft
Я бы так сделал, но не знаю на сколько это нужно, скорее всего пользователь просто не поймет, что там нужно скролить, если ему это никак не обозначить + рушится опыт пользователя т.к я не видел, что бы где то на десктопе делали скролл вбок при помощи мыши (не считая слайдеров)