Имеет смысл, если вам нужны какие-то очень специфичные вещи из ядра, например:
- Поддержка определённого железа
- Оптимизация специфичный фс, типа btrfs
- Софт, основанный на специфичных функциях ядра, типа docker
Т.к. вы упомянули, что у вас skylake, то у старых версий ядра есть
проблемы с управлением питанием на этом семействе процессоров
А так ядро 3.10 на CentOS7 официально считается стабильным и для него продолжают выходить обновления безопасности.