Можно расширить джанговского юзера полем телефон, и его сделать как юзернейм поле
class User(auth_models.AbstractBaseUser, auth_models.PermissionsMixin):
# default fields
email = models.EmailField(unique=True)
first_name = models.CharField(max_length=255, blank=True)
last_name = models.CharField(max_length=255, blank=True)
is_staff = models.BooleanField(default=False)
is_active = models.BooleanField(default=False)
date_joined = models.DateTimeField(auto_now_add=True)
# custom fields
phone = models.CharField(blank=True, max_length=40)
USERNAME_FIELD = 'phone'