Как удалить строки в таблице с одинаковыми параметрами по столбцам?

Question

[Dato38it]

Как из таблицы, полученное через dataframe:

| | Reg | CELL | LAC_x | RAC_x | LAC_y | RAC_y |
|------|-----|----------|-------|-------|-------|-------|
| 0 | HB | HB01571 | 32097 | 107 | 32097 | 107 |
| 3 | HB | HB01572 | 32097 | 107 | 32097 | 107 |
| 6 | HB | HB01573 | 32097 | 107 | 32097 | 107 |
| 9 | HB | HB02311 | 32102 | 112 | 32118 | 122 |
| 12 | HB | HB02312 | 32102 | 112 | 32118 | 122 |
| 3175 | IR | IR29422 | 5277 | 77 | 5277 | 77 |
| 3178 | IR | IR29423 | 5277 | 77 | 5277 | 77 |
| 3181 | IR | IR29861 | 5254 | 122 | 5253 | 12 |
| 3184 | IR | IR29862 | 5254 | 122 | 5253 | 12 |
| 3187 | IR | IR29863 | 5254 | 122 | 5253 | 12 |

Получить слеудющую таблицу:

| | Reg | CELL | LAC_x | RAC_x | LAC_y | RAC_y |
|------|-----|----------|-------|-------|-------|-------|
| 9 | HB | HB02311 | 32102 | 112 | 32118 | 122 |
| 12 | HB | HB02312 | 32102 | 112 | 32118 | 122 |
| 3181 | IR | IR29861 | 5254 | 122 | 5253 | 12 |
| 3184 | IR | IR29862 | 5254 | 122 | 5253 | 12 |
| 3187 | IR | IR29863 | 5254 | 122 | 5253 | 12 |

Answer 1

[Максим Припадчев]

dataframe.drop_duplicates(subset=[col1,col2,..],keep=False)

keep параметр, поддерживает 'first' (оставить первое) и 'last' оставить последнее, False удалит все строки.

Дополнил, ответ для сравнения между колонками для общего случая если это две или более или подсет.

cols = ['col1', 'col2', ..]
df.loc[~(df[cols].eq(df[cols].iloc[:, 0], axis=0).all(axis=1))]

Comments

[Dato38it]

oldBsTable['duplicate'] = oldBsTable.duplicated(subset=['LAC_x', 'LAC_y'], keep=False)

Данной командой я пробовал выделить true или false. И почему то везде true мне выдал

[Максим Припадчев]

Dato38it, Я с утра вопрос не правильно прочитал, задача если в строке колонки равны то такую строку удалить? Все равны или пара? или равенство внутри подсета колонок?

[Dato38it]

Максим Припадчев, удалить строку если в строке две колонки lacx и lacy равны.

[Максим Припадчев]

Dato38it, Ну это совсем просто я дополнил ответа для общего случая.

А для двух df.loc[~(df[col1] == df[col2])]

[Dato38it]

Максим Припадчев, как то странно кол у меня ведет почему то просто дублирует таблицу а не удалет строки

[Максим Припадчев]

Dato38it, Не видя что ты делаешь, не имея исходного фрейма, отгадать, что у тебя не работает, я не могу.

df = pd.DataFrame({
    'A':[1,2,3,7],
    'B':[1,5,6,9],
    'C':[1,11,12,7]
})
print('\nИсходный фрейм')
print(df)

cols= ['A','B','C']

print('\nОбщий случай когда более двух колонок')
print(df.loc[~(df[cols].eq(df[cols].iloc[:, 0], axis=0).all(axis=1))])

print('\nЭлементарный когда только 2')
print(df.loc[~(df['A'] == df['C'])])

Все прекрасно работает

[Dato38it]

Максим Припадчев, да, дело оказалось в типе данных в столбцах.они разные были

[Максим Припадчев]

Dato38it, Вот про типы данных, это ты молодец, это в целом хорошая практика перед осуществлением любой операции помнить про типы данных, а в пандас есть такой тип как object, (python object) это корень многих проблем ты смотришь у тебя например зрительно и там и там цифры говришь df['A'].sum() и получаешь ошибку, потому что в колонке и python int и python str и все это замаскировано под тип object. Здесь все просто ты видишь ошибку, а в более сложных операциях можно получать непонятное поведение, которое не просто дебажить. Этого типа надо избегать.