Определение токена в RFC
Refresh tokens are credentials used to obtain access tokens. Refresh
tokens are issued to the client by the authorization server and are
used to obtain a new access token when the current access token
becomes invalid or expires, or to obtain additional access tokens
with identical or narrower scope (access tokens may have a shorter
lifetime and fewer permissions than authorized by the resource
owner). Issuing a refresh token is optional at the discretion of the
authorization server.
примерно соответствует вашим рассуждениям о нем. Единственное что явно не запрещено повторное использование refresh_token. Обычно это опция которую можно установить для конкретного клиента OAuth2.0.
Использовать refresh_token в браузере не рекомендуется, потому что нельзя безопасно его хранить. Обычно он используется в десктоп или мобильных приложениях, которые позволяют реализовать защищенное хранение токена.
https://tools.ietf.org/html/rfc6749#section-1.5 
