Долго потому, что композер проверяет все зависимости пакетов, а у пакетов есть ещё много зависимостей, как правило.
Если нужно обновить одну либу используем:
composer update package/name
Ещё можно добавлять параметр "--prefer-dist", тогда composer будет стараться ставить либу из архива, а не клонировать репозиторий.
