Как то думал о подобной проблеме. На мой взгляд ни чего такого в этом нет. Сейчас же, даже с мобилок, интернет стал таким быстром, что грузится быстро. Если вам нужен jQuery только для админки, то и париться по этой проблеме не стоит.
Да даже если и jQuery подключается для сайта, то тоже не серьёзно. У меня сайт на Laravel + громоздкий CSS фреймворк, jQuery + 2 плагина для анимации = не больше 3 секунд загрузки сайта с мобилки.
А если ещё сделать такую схемку (или лучше, если сможете, то прирост производительности сайта будет лучше):
1. Apache (backend)
2. NGINX (frontend) + SSL + HTTP/2
+ memcache и ещё какой-то, не помню точно.