Всё зависит от бюджета и фантазии.
Все эти флешки, внешние диски и прочее - это ручная работа, которую можно забыть, не успеть сделать, да и в целом надо помнить.
Проще и дешевле всего (в плане денег и автоматизации) и достаточно надежно - завести отдельно стоящий компьютер с софтовым (mdadm) рейдом 6 (когда два диска могут вылететь и ничего не исчезнет). И иметь один запасной диск на случай вылета, чтобы сразу заменить. Систему тоже на отдельном рейде, можно на зеркальном. И не забыть загрузчик тоже отзеркалить.
Второй уровень надеожности - добавить второй компьютер. Можно без рейда. Например, свой личный или опять же отдельно стоящий. И настроить автоматическую синхронизацию, например через Syncthing.
Третий уровень - разнести компьютеры географически. Один дома, второй на работе. Или в дата центре. Или два в разных дата центрах.