Когда пользователь загружает файл
проверь его формат и если он не подходит отправь исключение:
raise ValidationError('Текст сообщения')
Не забудь импортировать:
from django.forms import ValidationError
Всё это в файле admin.py
PS. Сам не разбираюсь в джанго(делал несколь проектов по видосам) но вот про это знаю.
Попробуйте