Да, libreoffice хочет _библиотеки_ x11 для headless. И нет, это не графика как таковая, если правильно разрулить зависимости.
При этом, под линуксом, пожалуй, только такое решение позволяет получить наиболее точную конвертацию docx-pdf.
Что касается безопасности - особых проблем именно с библиотеками иксов не вижу, основные проблемы всё равно будут с libreoffice.