Потому что нада вешать событие, которое отслеживает, когда указатель зашел за пределы блока с каруселью и тригеррить событие отпускания кнопки мыши. Иначе ты получается мышь зажал, сработал колбек события, но отпустил за пределами, а у тебя, наверное, отпуск кнопки загнан внутри блока карусели
