Интерпретация результатов classification_report обученной модели KNeighborsClassifier библиотеки sklearn?

Question

[genalll]

Вопрос относиться к интерпретации результатов classification_report обученной модели KNeighborsClassifier библиотеки sklearn. Суть суть задачи, имеем сет с данными пациентов : Возраст, отделение больницы, месяц забора материала, возрастная группа, характер материала, необходимо прогнозировать результат бактериологического посева ( 1 из 10 микробов), ТЕ задача на классификацию. Использовал KNeighborsClassifier, не могу оценить результат classification_report, в свободном доступе не встретил инфы как его интерпретировать, (в первую очередь когда переходить к бинарной классификации) важно выудить из из сета хоть что-то, даже если будем с приличной вероятностью прогнозировать одного микроба уже хорошо. Правильно ли я понял что при таких результатах, нормально прогнозировать можно только (1) ,1й класс, и лучше перейти к бинарной классификации ?

precision    recall  f1-score   support

         1.0       0.68      0.91      0.78       362
         5.0       0.19      0.08      0.11        64
         6.0       0.32      0.09      0.14        66
         7.0       0.12      0.10      0.11        31
         9.0       0.75      0.12      0.20        26
        11.0       1.00      0.11      0.20         9

    accuracy                           0.62       558
   macro avg       0.51      0.23      0.26       558
weighted avg       0.56      0.62      0.55       558

Answer 1

[dmshar]

Не пойму, в чем проблема интерпретации отчета? Ну вот объяснение, более-менее вменяемое.
https://muthu.co/understanding-the-classification-...
надеюсь, что такое precision, recall, f1-score,support и как их трактовать - вам известно. На всякий случай:
https://www.jcchouinard.com/classification-report-...
bazhenov.me/blog/2012/07/21/classification-perform...
Если порыться, можно найти и медицинско-диагностическую трактовку этих метрик

Comments

[genalll]

Спасибо первый ответ и сразу по делу. Да метрики сами мне понятны. Мне просто надо определиться с дальнейшей тактикой, нет опыта (. Правилен ли мой вывод, что надо переходить на бинарную классификацию по первому классу? И прогназировать получится только 1й класс? Или надо оптимизировать то что есть, с несколькими классами?

[dmshar]

genalll,
И прогназировать получится только 1й класс? ---> Почему???
Даже в документации по пакету scikit-learn
https://scikit-learn.org/stable/modules/neighbors....
в качестве примера приведена классическая задача распознавания ирисов, в которой целевых классов три. На реальных задачах ничего не мешает использовать большее число классов. Ну, про 14 400 (или сколько там в МКБ на сегодня) речи не идет, конечно. А вот в какой-то более-менее узкой области - вполне реально.
А вот приведенные метрики - это же не классификатор как таковой. Это просто показатель, насколько классификатор корректно (в разных смыслах) работает по распознаванию конкретного диагноза. И они да, работают по принципу - "болезнь Х есть против того, что болезни Х у данного больного нет". Но это оценка алгоритма, а не необходимость реально переходить к бинарной классификации.
Но даже если вы захотите действительно распознавать какую-то одну болезнь, то и тут есть над чем потрудиться. Ну например, вот тут
ai-news.ru/2019/01/nejroset_nauchilas_opredelyat_b...
сообщают, о том, что нейросеть научилась ставить диагноз Альгеймера на шесть лет раньше врачей. На мой непрофессиональный взгляд - это тоже весьма серьезный результат.