Сам факт наличия плагинов никак не влияет на загруженность сайта. Всё зависит от того, что эти плагины делают и как написан код. То есть, если в 50 плагинах 10 строчек кода и они особо ничего не делают, а в 1 плагине 1000 строчек кода, и он совершает запросы в БД, включает фильтры, обновляет данные и т.д. то этот один плагин нагрузит сайт больше, чем все 50 плагинов вместе взятых.
Подробнее