Мой исполняемый файл при запуске ограничивают в ресурсах, моя задача - попробовать снять это ограничение.
В линукс нельзя просто так взять и ограничить один процесс без ничего.
Ограничивают обычно через cname, а это означает, что процесс запускается внутри своей подгруппы, и видит только те ресурсы, которые ему выделились. Если этот процесс запустит другой подпроцесс, они будут внутри той же самой группы (грубо говоря в контейнере).
Вообще было бы хорошо уточнить смысл задачи. Это задача поставленная преподавателем, поставленная самому себе, или рабочий процесс? И кратко описать из-за чего такие требования.
Может для другого процесса проще написать какой-то API и триггерить его запуск уже из вашего Java приложения. Таким образом другой процесс не будет дочерним.