Как корректно сравнить две выборки по гистограммам?

Question

[Aracon]

Есть две целочисленные выборки (точнее, даже, их гистограммы, но по гистограмме можем получить вариационный ряд). Выборки разного размера.
Как корректно их сравнить на предмет того, они из одного и того же распределения или нет?
Критерий Пирсона, Смирнова или какой-то ещё, и почему?

Answer 1

[Rodres]

Лепский А.Е. "Сравнение вероятностных распределений". Статья доступна для скачивания.
В статье - исчерпывающий ответ: все известные методы, минимальное описание.
Корректны будут все сравнения в той или иной степени, "лучшее" отсутствует в принципе. Где-то одно лучше подходит, где-то другое.
Если надо выбирать, то для гистограмм, в которых могут иметься "помехи", ошибки и т.п. предпочитают сравнение не бин-бин, а все бины со всеми. Соответственно, одно из устойчивых, часто применяемых и вполне "хороших" - Earth mover's distance
Грубо говоря, этот метод можно применять в очень широком диапазоне "качества" исходных данных.

Comments

[Сергей Ильин]

ответ до сих пор актуален. а можете ссылкой на статью поделиться? в Гугде не забанили, но найти не смог. Спасибо заранее.

[Rodres]

Все ответы здесь:

• Cha S.-H., Srihari S. N. On measuring the distance between histograms // Pattern Recognition, Vol. 35, No. 6, 2002.
  
• Marın-Reyes P.A., Lorenzo-Navarro J., Castrillon-Santana M. Comparative study of histogram distance measures for re-identification // CoRR, No. abs/1611.08134, 2016.
  

Краткий обзор от Лепского:
https://lepskiy.ucoz.ru/Presentation/2014_Comparis...