Дабы поставить точку над i, процитирую пришедший от Гугла ответ:
Please note that the Account Owner of the Console that owns the app will not be able to comment on the application. Also users who are Alpha/Beta testers will be unable to leave reviews at this time. They will need to use the Feedback channel listed in the Developer Console.
If your normal production users are unable to leave reviews this is considered a user-end error on the Play Store itself
Получается, если вы запускаете открытый бета-тест, то все тестеровщики впоследствии не смогут оставить отзыв или оценить приложение. А будут получать непонятную ошибку.