Почему удаление отклоненных значений удаляет так много данных?

Question

[Sneiksus]

Хочу удалить данные о возрасте которые выходять из диапазона 5-95%. В чем может быть проблема что удаляется почти половина записей о возрасте? При том распределение до и после одинаковое

Comments

[dmshar]

А ничего, что приведенные гистограммы показывают как раз обратное - количество данных в выборках "до" и "после" одинаково?? О каком удалении половины записи идет речь? Из чего это следует? Точно не из гистограммы.

Answer 1

[Максим Припадчев]

Ну если у тебя одинаковых значений много, на приграничных значениях (low, upper) возможно ты все удаляешь такие значения.

Если тебе надо отфильтровать фрейм по возрасту (5 персентиль 95 персентиль). Используй что нибудь вроде такого.

low = df['Age'].quantile(0.05)
upper = df['Age'].quantile(0.95)

df[df['Age'].between(low, upper)]

Ну и не забудь про параметры метода quantile, например задать interpolation (интерполяцию). По у молчанию там линейная среднее между двумя значения, можешь например поставить 'nearest' и будет идентичное поведение np.percentile()

Answer 2

[GrKon]

График Age ditribution before... вызывает большие сомнения - там явно не 10900. Проверь формирование этого графика. Возможно правильный график снял бы вопросы.