Включить для чего? Для кодирования (т.е. вы хотите использовать кодек x265)?
Или вы говорите о компиляции и включении lib-x265 в бинарники ffmpeg?
Потому что если первое, то вам нужно добавить в командную строку -c:v libx265 и параметры кодирования, а если второе, то параметры конфигурации компиляции, про которые вы спрашиваете, как раз включают соответствующую библиотеку (если она установлена).