Можно проверять, можно нет. Подменить не сможет, но токен может истечь во время сессии. Если кто-то украдет чужой токен и подключится пока токен валиден, то в теории, если валидировать только при подключении, он сможет использовать украденный токен пока не отсоединится, даже если токен живет только час.