Никогда сам так не делал, но скорее всего надо подключить d8.jar как библиотеку к приложению, и вручную запустить main с нужными параметрами, условно
D8.main(new String[] {inJarPath, "--output", outDexPath})
Из скрипта запуска d8 можно найти главный класс: com.android.tools.r8.D8
Про запуск только что сгенерированного dex можно почитать в официальной документации гугла:
ClassLoder и
DexClassLoader
Более подробно про ClassLoader можно почитать в интернете
Также надо помнить, что некоторые jar файлы, изначально сделанные под компьютер, могут работать неправильно на андроиде т.к некоторые вещи запрещены, другие просто работают по-другому