Самая здравая идея это сделать кнопки видимыми.
Теперь к нездоровым:
Можно получит координаты углов контейнера, затем координаты прямоугольников половинок контейнера.
При клике смотреть в какую половину попадает клик и переключать слайдер в нужном направлении.
В обработчике клика перед тем как проверять координаты нужно проверить что event.target на предмет того что это не "кнопки-ссылки", у кнопок ссылок в свою очередь должен быть железный признак, например специфический css класс.