Catboost почему строит график зеркально?

Question

[juiwas_morori]

Обучаю модель дома и на работе. До этого все время обучала на работе, и все графики строились правильно. Сегодня обучала по тому же файлу, что и взяла домой. Только вот когда я его запустила дома, график стал рисоваться не правильно. Я поняла, что он рисует будто со знаком -, но мне нужны графики для отчета. Как это исправить?

Все это работает в юпитере.

Может кто-то поймет, почему это вообще так могло произойти. Специально обновила все пакеты до последнедних, но не помогло.

Это вот типо рок кривая:

Comments

[Максим Припадчев]

Обратите внимание на шкалы ваших осей так быть не должно. Вы что то не то делаете это не ROC. У вас должны быть шкалы от 0 до 1. А у вас хаос какой то Истинно-положительный от 0 до 0.11 или 0 до 3 на первом а ложно положительный в тысячах на обоих. Надо сначала с этим разбираться.

[juiwas_morori]

Максим Припадчев, Первая это и не рок-кривая.
И вот она нормально на другом компьютере

[juiwas_morori]

Максим Припадчев, она и не должна быть от 0 до 0.11. В этом и проблема. Он должен был рисовать вверх, а пошел вниз.

И он строит график во время обучения - поэтому он так выглядит

[Максим Припадчев]

juiwas_morori, Хорошо, вы просто упомянули ROC кривую у себя в вопросе. Понятно здесь количество итераций на оси x и точность классификации на оси y. Ну и наблюдаем мы конвергенцию. Сложно сказать, что не так. Если бы поведение просто различалось, можно было бы подумать на параметр random_state, но здесь явно какая то ошибка.

Answer 1

[Pavel Merkushevich]

Похоже, что вы столкнулись с проблемой инвертированной ROC-кривой при построении графика с помощью CatBoost. Это может быть вызвано тем, что вы используете неправильный параметр для указания события или класса в вашем наборе данных. Вы можете попробовать изменить этот параметр или использовать функцию get_roc_curve из CatBoost для получения информации о ROC-кривой. Вы также можете посмотреть документацию CatBoost о том, как визуализировать деревья решений.
https://datascience.stackexchange.com/questions/11...
https://catboost.ai/en/docs/concepts/python-refere...
https://catboost.ai/en/docs/concepts/python-refere...

Comments

[juiwas_morori]

Проблема в том, что так не только рок-кривая, в все графики. При этом это же файл на другом компьютере отрисовывает все верно, как надо.

[Pavel Merkushevich]

А код можете предоставить?

[juiwas_morori]

Это весь код, что связан с кэтбустом. До этого только обработка датасета.

classes = np.unique(data_f['Tema'])
weights = compute_class_weight(class_weight='balanced', classes=classes, y=data_f['Tema'])
class_weights = dict(zip(classes, weights))

cat = CatBoostClassifier(iterations=20000, 
                           learning_rate=0.1,
                           #depth=2,
                          #early_stopping_rounds=100, 
                          loss_function='MultiClass', 
                          class_weights=class_weights,
                          custom_loss = ['AUC', 'Accuracy']) 

pool_t = Pool(data_ngrams, label=data_f['Tema'], weight=None)

cat.fit(pool_t,
        verbose=False,  
        plot=True,
        eval_set=(test_ngrams, data_test['Tema']))