малость не догнал, а почему вероятностная модель не подходит?
то есть человек с высоким качеством ответов имеет более большой «вес», с низким — малый.
ну и рандомом выбираем группу, скажем, в 10 человек. Поясню про «вес» — есть человек с весом в 10, если с весом в 1 и с весом 5, грубо говоря на листочке запишем 10 раз имя человека с весом 10, 5 с весом 5 и 1 раз с весом 1 и тыкнем пальцем. Тогда с высокой долей вероятности попадётся качественный отвечальщик, но остаётся шанс поднять свой рейтинг и плохим отвечальщикам.