Какой метод математической статистики подойдет для выделения верного результата из выборки?

Question

[Roman Poliakov]

Добрый день. Есть задача собирать опросы пользователей и определять правильные ответы статистически обрабатывая выборку. Как планируется расчет:

• Определить и отбросить выборсы.
  
• Определить моду.
  
• Каким-то образом удостовериться, что выбранная мода статистически значима и верна. Т.е. если у нас есть 100 ответов и из них 80 говорят что значение параметра А равно иксу а не игрику, тогда можно сказать, что ответ А = х верный и статистически значим. Если же у нас есть 45 ответов говорящих, что А = х и 39 ответов говорящих, что А = y тогда утверждение А = х верно но не значимо. Так же следует учитывать размер выборки. Т.е. на 4х ответах из которых 3 утверждают, что А= х мы не можем утверждать о значимости результатов.
  

Главный вопрос состоит в том, какие методы подойдут для определения значимости моды\результата. Возможно Мода не самый лучший вариант

Answer 1

[Андрей]

Вопросы значимости раскрывают методы статистической проверки гипотез. Вы выбираете гипотезу о том, что "А равно х" и затем на основании объема выборки и полученных наблюдаемых значений (распределения ответов пользователей) оцениваете вероятность ошибки того, что "мы решили, что А равно х, а на самом деле оно было равно игрек".

Comments

[Roman Poliakov]

Проблема в том, какой именно метод подходит под данную задачу. Критериев уйма и я уже в них потерялся. Допустим у нас есть вопрос о том, какого цвета виноград на предоставленном изображении. Из вариантов ответа: зеленый, фиолетовый, красный. Каким образом математически описать гипотезу, что виноград действительно зеленый т.к. такой ответ дали 80 человек из 100. Вернее, насклько я понимаю, нужно за нуль гипотезу брать утверждение, что виноград не зеленый, а за альтернативную: виноград имеет зеленый цвет.

[Андрей]

Может быть тогда попробовать несколько переформулировать задачу:
попытаться найти доверительный интервал мат.ожидания доли посетителей, считающих, что виноград зеленый, и если доверительный интервал не охватит точку 0.5, считать решение значимым.
Решение этой задачи - статистика хи-квадрат с поправкой на 1 степень свободы из-за того, что мат.ожидание Вам априори неизвестно, а оценивается по наблюдавшейся выборке.

[Roman Poliakov]

Андрей: Спасибо. Идея хорошая. Но почему именно 0.5?

[Андрей]

Roman Poliakov: я имел в виду, что левая граница доверительного интервала находится правее точки 0.5, т.е. пользователи статистически значимо уверены в том, что он зеленый

[hudozhnin]

Андрей: почему 0.5-то? Если Вы говорите про хи-квадрат-тест, то он проверяет гипотезу о равновероятности вариантов в таком случае, то есть если у нас три варианта, то хи-квадрат будет сравнивать с 0.33 и выдаст p < 0.05, если случайности ответов не наблюдается.
Но и этого мало. Допустим, мы получили распределение ответов 0.5 0.45 и 0.05. Хи-квадрат покажет, что оно неслучайно. Но этот тест не ответит на вопрос, есть ли разница между 0.5 и 0.45, или это одно и то же. Так что одного хи-квадрат тут мало. Точнее, он вообще не нужен.

Answer 2

[Vov Vov]

Я конечно не профи с статистике, но раз уж все молчат мне кажется эта презенташка в тему: https://stepic.org/media/attachments/lesson/9166/%...

Answer 3

[hudozhnin]

Как решили в итоге задачу? Удалось что-то найти еще по теме? Очень интересно. Расскажите, пожалуйста.

Comments

[Roman Poliakov]

Решили при помощи доверительных интервалом. Считаем для более вероятного ответа доверительный интервал и если его нижняя граница выше 0,5 (т.е. мы статистически уверены, что более половины дали такой ответ) принимаем как верный результат.