Вопрос о наличии в памяти неиспользуемых библиотек изучен слабо.
Теоретически можно предположить, что при загрузке всё лишнее отключаются. Тогда - не влияет никак.
А если не отключается - то влияет, но размер доступной памяти уменьшается на размер библиотек.
Хуже с библиотеками, в которых тебе нужны несколько методов, а оставшиеся десятки мегабайт - только балласт. Пример - биб-ка smile (Java), содержащая десятки мегабайт исполняемого кода по всем направлениям математической статистики, а нужно только корреляцию Пирсона посчитать.
Тут, скорее всего, вся библиотека грузится, но используется, дай разум, 1% от её общего размера.
В своё время в Delphi нравилось то, что при сборке EXE из объектных (откомпилированных) модулей подключались лишь те, на которые были ссылки.
Если современные среды разработки способны на такое, то было бы полезно все библиотеки подключать в виде исходных кодов и компилировать в свою собственный исполняемый модуль.
Это дало бы максимальные эффект по оптимизации памяти.