Гуглев Pagespeed любит, когда скрипты и стили объединены, а не разбросаны по разным файлам. И не любит сторонние включения, в том числе и свои же гуглевские скрипты.
Попробуйте подключить Autoptimize (многие его сильно не любят))), Fast Velocity Minify или что-то аналогичное (увы, не знаю, что сейчас в тренде). В любом случае придется поковыряться в настройках, потому что плагины такого рода могут переломать и работу скриптов, и внешний вид.
Это в дополнение к кэшированию страничного уровня.