Никогда сам так не делал, но скорее всего надо подключить d8.jar как библиотеку к приложению, и вручную запустить main с нужными параметрами, условно

D8.main(new String[] {inJarPath, "--output", outDexPath})

Из скрипта запуска d8 можно найти главный класс: com.android.tools.r8.D8

Про запуск только что сгенерированного dex можно почитать в официальной документации гугла: ClassLoder и DexClassLoader
Более подробно про ClassLoader можно почитать в интернете
Также надо помнить, что некоторые jar файлы, изначально сделанные под компьютер, могут работать неправильно на андроиде т.к некоторые вещи запрещены, другие просто работают по-другому