После долгих раздумий, я пришел к такому решению:
В проекте используется Gradle. В каждом модуле для различных уровней API(назовем их API-модулями), я создал еще один подмодуль, в который вынес этот класс. После чего я объявил API-модули зависимыми от этих модулей(API 16 - модуль зависит от своего внутреннего модуля, API 18 - от своего, и т.д.), после чего объявил эти зависимости не как 'compile', а как 'provided'. После чего все спокойно компилировалось.
Пример можно посмотреть здесь(внимание, пока не стоит использовать эту библиотеку, она еще не полностью готова):
https://github.com/DrBreen/RemoteController