Можно расширить джанговского юзера полем телефон, и его сделать как юзернейм поле
class User(auth_models.AbstractBaseUser, auth_models.PermissionsMixin):
    # default fields
    email = models.EmailField(unique=True)
    first_name = models.CharField(max_length=255, blank=True)
    last_name = models.CharField(max_length=255, blank=True)
    is_staff = models.BooleanField(default=False)
    is_active = models.BooleanField(default=False)
    date_joined = models.DateTimeField(auto_now_add=True)
    # custom fields
    phone = models.CharField(blank=True, max_length=40)
    USERNAME_FIELD = 'phone'