Опасно не количество плагинов, а их качество. Слухи о том, что "много плагинов для wordpess это вредно", идут из-за низкого порога вхождения. Очень много плагинов с плохим кодом. У вас может стоять 99 отличных плагинов и один плохой, который будет все тормозить.
Чем больше плагинов, тем больше шанс, что какой-то из них будет написан плохо. Если все плагины написаны хорошо, количество не имеет значения.
Например тот же jetpack может ваш сайт ускорить - если включите там модуль Photon, скорость загрузки вашего сайта будет больше, так как картинки будут раздаваться через CDN WordPress'а.
А какой-нить плагин для генерации карты сайта (где количество кода меньше в разы), может ваш сайт периодически отправлять в белый экран.
Попробуйте выявить проблемные места, узнайте, что у вас тормозит:
Смотрите лог с ошибками, проверяйте скорость работы плагинов чем-то вот таким
https://wordpress.org/plugins/p3-profiler/, проверяйте скорость работы сайта
www.webpagetest.org
А затем исходя из этой информации решайте что делать дальше.