Решил следующим образом: Paths.get(".").toAbsolutePath().normalize().toString() + "/имя_файла".
Т.е мы получаем абсолютный путь до директории, в которой находится архив jar, и добавляем строку с именем файла.
Проверял на Linux, не знаю как будет работать на Windows