В треде был подсказан вариант решения запуска дженкинса с аргументом порта
java -jar jenkins.war --httpPort=...
Подходит на случай, если дженкинс не будет рестартиться (иначе придется каждый раз вручную перезапускать)
Я решил проблему отредактировав Jenkins.service через systemctl