При загрузке детальной страницы книги происходит запрос всех авторов. Вы можете настроить админ-модель для книги
class AdminBook(ModelAdmin):
raw_id_fields = ('author_id', )
site.register(Book, AdminBook)
Здесь еще информация об оптимизации скорости работы админки.
перейти