Попробуйте использовать не SlidingDrawer (который Deprecated как раз в 17 API), а NavigationDrawer. Если не вариант для вас, то кроме как профилировать и искать, где тормозит, посоветовать вряд ли что-то возможно. Кстати, если найдете, в чем проблема, напишите сюда пожалуйста. Интересно.
