Если выключен режим loop, то кнопкам присваивается класс disabled когда нечего прокручивать (последний слайд или их меньше отображаемого количества).
Отсюда следует, что вам достаточно написать две строчки в стилях:
.owl-prev.disabled, .owl-next.disabled {
display: none;
}