Здравствуйте!
"чтобы оно НЕ бэкапилось одним архивом".
Это по умолчанию там работает.
Установите плагин UpdraftPlus Backup и там после установки будет гайд, который поможет вам поэтапно пройти и настроить плагин. или просто закройте гайд и сразу же нажмите "Резервное копирование".
Он сделает отдельные архивы для плагинов, тем, загрузок и если включить в настройках соответствующих пункт, то может сделать бекап ядра. Это очень простой плагин