Отслеживать нажатие на панель с помощью интерфейсов 
IPointerEnterHandler, 
IPointerExitHandler, прикрепленных к скрипту объекта. Параметром методов, реализуемых этими интерфейсами, будет 
PointerEventData, с помощью его свойства 
eventData.pressPosition.x можно понять, где было сделано нажатие. 
Соответственно, останется посчитать, было ли нажатие на левую или правую часть экрана. Сделать это очень просто:
bool isRightClick = eventData.pressPosition.x > Screen.width / 2;
bool isLeftClick = eventData.pressPosition.x < Screen.width / 2;
Screen.width, конечно, стоит закешировать.
Соответственно, если нажатие на левую часть экрана, обрабатываем передвижение влево, и наоборот.