Не помню точно методов этой библиотеки, но логика вроде ж простая:
1. В коде определяем ориентацию по соотношению стороны по вертикали и горизонтали.
2. Если картинка в портретной ориентации(ширина по Х меньше, чем по У), то делаешь applyFilter(a), иначе применяешь фильтр б.
Чем так не подходит ?