Думаю тут стоит уточнить контекст, что и где разрабатывать. К примеру я один раз при написании прошивки для ардуинки - забыл удалить библиотеку и долго не мог понять, почему не хватает памяти. Как только нашёл лишнюю подключенную библиотеку и удалил её - всё завелось без проблем))
Так что на производительность возможно и не влияет, но место занимает :)