Доброго времени суток!
Конечно сортировать надо по среднему значению.
Например у одной записи проголосовало 20 человек по 1, суммарно 20
за вторую записать 3 человека по 5, выходит 15, получается что вторая запись будет ниже по рейтингу...