Импортов надо иметь ровно столько, сколько нужно вашему коду. Очевидно, если вы не импортируете библиотеку, которую используете, то код не запустится. Очевидно, бессмысленно импортировать то, что не используется.
Да, что импорты влияют на скорость запуска - это правда. Каждый импортируемые скрипт нужно считать с диска, распарсить, интерпретировать, создать в памяти объекты загруженных из него данных и т.п.
