Context нужен не для этих целей, в нем лучше не прокидывать критичные данные. В контексте можно передавать некритичные данные, которые используются во многих частях приложения - например, текущую тему, локаль и т.д.
Так что это не взаимозаменяемые вещи, для хранения стейта приложения используйте Redux
Ну как файлы точно не надо хранить. В БД храните текст и его странскрипцию, в реакте только перменные в нужных местах. Подгружаете из БД нужный текст и вставляете в нужное место