Можно, но необходимо будет вручную пытаться определить какой же Вы объект собрались вращать.
Например можно поделить экран на 3 области, закрыть их прозрачными элементами и на них уже повесить слушатели мыши, которые будут вращать объекты.
Или, вариант 2: вешать один слушатель, но анализировать координату по X, определять в какую из третей экрана она попала при начале перетаскивания - тот объект и вращать.