Тоже столкнулся с этой проблемой. На гиту у автора плагина тоже обсуждают проблему эту, и нашли даже решение. Поделюсь с теми кто будет искать причину здесь.
Баг актуален на версии Owl Carousel 2.3.4
Необходимо выкачать содержимое скриптового файла owl.carousel.min.js
Найти в нем:
(Math.abs(d.x)>3||(new Date).getTime()-this._drag.time>300)
Заменить на:
((Math.abs(d.x)>3||(new Date).getTime()-this._drag.time>300)&&e.Type==="mouseup")
И использовать получившийся файл, а не оригинальный.