Сам же и отвечаю на свой вопрос.
Небольшой мануал:
1. Организовать структру каталогов следующим образом
src
main
java
com.example.application
MainActivity.java
res
AndroidManifest.xml
dev
java
com.example.application.config
Configuration.java
pro
java
com.example.application.config
Configuration.java
2. Добавить в build.gradle следующие строки
productFlavors {
dev {
...
}
pro {
...
}
3. Скомандовать ./gradlew assembleDevDebug (или assembleProDebug)
На выходе получается сборка которая использует соответствующий конфиг-файл. Надеюсь кому-то поможет.