Lib.js 20кб за 1 минуту. На МКС и то быстрее поток идет.
Комплексно:
https://wordpress.org/plugins/wp-minify/ этот, либо поищите похожее.
+ заголовки кеширования либо манифест ( да, есть плагины)
Еще вариант - CDN cloudfare или клоны. дороже, но решит проблему сразу