Можно ли в pandas дропнуть дубликаты строк, оставив несколько последних?

Question

[Elick]

Здравствуйте, интересует можно ли дропнуть дубликаты строк в pandas, но при этом оставив определенное количество последних строк?
Функция .drop_duplicates() позволяет сохранить только первую или последнюю строки.

Comments

[Viktor T2]

df.groupby('column1').tail(100)
https://stackoverflow.com/questions/46781195/keepi...

[Elick]

Viktor T2, спасибо, вы засейвили мне часа 3 времени, не представлял, что groupby можно так использовать

Answer 1

[Elick]

Пока в голову приходит что-то такое через лист компрехенсив, но если unique_vals_clmn1 слишком большой это может затянуться надолго
А код оставляет последние 100 строк для каждого уникального значения column1, т.е. он удаляет дубликаты по column1, сохраняя последние 100 строк

unique_vals_clmn1 = df['column1'].unique().tolist()
df = pd.concat([df[df['column1']==unique_val_clmn1].tail(n=100) for unique_val_clmn1 in unique_vals_clmn1]).reset_index().sort_values('index', ascending=True).set_index('index')

Comments

[Elick]

df.groupby('column1').tail(100)