Когда пользователь загружает файл 
проверь его формат и если он не подходит отправь исключение: 
raise ValidationError('Текст сообщения')
Не забудь импортировать: 
from django.forms import ValidationError
Всё это в файле admin.py
PS. Сам не разбираюсь в джанго(делал несколь проектов по видосам) но вот про это знаю. 
Попробуйте