Как выровнять процентное распределение по данным?

Question

[Антон Тарара]

Здравствуйте коллеги. У меня такой вопрос. Имеется датасет. В нем есть признаки(столбцы) бинарные. но в этих столбцах соотношение True к False не очень ровное. Например True 90% а False 10%. Как выровнять сразу по всем признакам эти данные? Добавив рандомно новые? В Studio ML есть такой инструмент называется SMOTE, но он работает только с одним признаком. Может быть есть какие то механизмы для pandas или numpy? Спасибо

Comments

[Lander]

Нифига не понял, но подписался. Интересно узнать что скажут люди.

Answer 1

[longclaps]

Идея разбодяжить настоящие данные фейковыми, чтобы получить что-то толковое - это бредовая идея.
Инструменты для реализации бредовых идей можно подобрать, да.

Comments

[Антон Тарара]

А чем бредовая? Что обычно делают в ситуациях, когда данных мало, но нужно сделать какой то пилот для обучения?

[longclaps]

Антон Тарара, а вот почему: если у вас есть разумная идея о том, как должны выглядеть реальные данные - значит, у вас фактически есть эвристика насчет того объекта, который вы моделируете. Вот и пилите эту эвристику, чем сетку натаскивать.
Если вы думаете научить чему-то толковому сеть на случайных фейковых данных - это таки бред.

Answer 2

[Арсений Кравченко]

contrib.scikit-learn.org/imbalanced-learn/stable

Но вообще 90 на 10 - вполне здоровое соотношение для большинства случаев.