Немного исследовав поведение Fragment с setRetainInstance и без понял, что это не кошки не вкусные..
Окончательно разобраться помог простой эксперимент с выводом в лог событий с фрагмента при повороте
Из лога прекрасно видно, что фрагмент не уничтожается (только его UI), в итоге, все данные (список слов, текущая позиция, промежуточные результаты) остаются на своих местах и надо только перерисовать UI основываясь на этих данных.
Считаю этот вариант более удобным чем использование onSaveInstanceState.