Надо стремиться лучше знать инструмент, которым пользуешься. И чем лучше знаешь как работает Django ORM, тем больше возможности написать оптимальный запрос и больше возможности определить, когда нужна оптимизация, а когда нет. Но ни в коем случае нельзя применять "магические" оптимизации, про которые где-то читал, но сам не понимаешь, как и почему они работают.