Можно посмотреть как это уже реализовано - например в JASidePanel а) и б)
func gestureRecognizer(_ gestureRecognizer: UIGestureRecognizer,
shouldReceiveTouch touch: UITouch) -> Bool
Можно попробовать воспользоваться данным методом делегата и ограничить восприятие соотвествующих жестов исходя из точек,если я правильно понял