Ну, для хранения данных есть два "контейнера": файл или база данных.
Для файла можно выбрать формат JSON: и человекочитаемо, и легко парсить, и нет проблем с русским языком (в отл от .properties).
Ну а база - любая база. Если концепция вопросов-ответов укладывается в "ключ-значение", то можно брать что-то NO-SQL (Redis и пр.).
Но мне кажется что JSON - самое простое, и главное - не нужен программист для правки данных.