Вместе с SlidingDrawer тормозили еще и списки(аватарки + ники).
1. В AndroidManifest.xml при тормозах указано:
<uses-sdk
android:minSdkVersion="14"
android:targetSdkVersion="17" />
Если секцию uses-sdk удалить или задать:
<uses-sdk
android:minSdkVersion="13"
android:targetSdkVersion="13" />
то тормозить переставало. Но тогда на устройствах приложение вело себя непредсказуемо.
2. Также тормоза пропадали при удалении больших картинок для backgroun на списках и backgroun'ах больших элементов дизайна.
Заменил картинки на backgroun'ах просто цветом. Стало менее красиво, но зато не тормозит.