Как отфильтровать массив столбца датафрейма Pandas без выноса их в отдельный столбец?

Question

[Степан]

Например есть такой столбец:

userID   goalsID
25         [1,2,4,5]
188        [3,6]
79         [1,9]

Можно ли отфильтровать данные прямо в массиве, например только по цифре 3? Без выноса каждого значения столбца goalsID в отдельные столбы.
Чтобы осталось вот так:

userID   goalsID
188       [3,6]

Answer 1

[Максим Припадчев]

Решений миллион.
1. написать функцию для работы с питон списком, которая будет будет возвращать, True,False.
2. Применить один из многочисленных методов фильтрации.

Например

df = pd.DataFrame({
    'userID':[25,188,79],   
    'goalsID':[[1,2,4,5],[3,6],[1,9]]
})
(
    df.loc[lambda x:x['goalsID'].apply(lambda x: 3 in x)]
)

Comments

[Степан]

Спасибо!
1) С функциями у меня пока не очень)
2) А какие есть еще методы фильтрации массива?

Проблема просто в том, в моем примере 2 строки, а в реальном файле 2 млн. строк.
Как думаете, что лучше фильтровать вашим способом, или всё же выносить данные в отдельные столбцы? (я пока склоняюсь ко второму способу)

[Максим Припадчев]

Степан, Два миллиона если это пайплан то это одна история, если это разовая операция, то какая разница. Относительно перформанца, то есть есть возможность не работать с питоновскими объектами, значит лучше с ними не работать, здесь речь не о переносе, а о переформатировании.

Напрмиер посмотри на метода explode. Что для всего фрейма, что для Series.

сделай df.explode(['goalsID']) И посмотри на поведение других колонок, твои данные не потерялись.

Насчет, фильтрации, документацию читай.

[Степан]

Максим Припадчев, проверил, в моем случае explode не сработал, видимо потому что я работаю с файлом csv с помощью df = pd.read_csv

[Максим Припадчев]

Степан, Да это без разницы как ты получил pandas frame. Значит у тебя в goals id не везде python списки.

[Степан]

Максим Припадчев, Что-то он не разбил на отдельные столбцы, может из-за квадратных скобок

[Максим Припадчев]

Степан, так ничего не видно, может там вообще вложенные списки внутри.
Например вот так

df = pd.DataFrame({
    'userID':[25,188,79],   
    'goalsID':[[[1,2,4,5]],[3,6],[1,9]]
})
df.explode('goalsID')

И первый не сработает, потому что вложенная структра. В общем ты совсем новичок, рано тебе еще, с большими объемами грязных данных работать.

[Степан]

Максим Припадчев, Там вот такое:

И первый не сработает, потому что вложенная структра. В общем ты совсем новичок, рано тебе еще, с большими объемами грязных данных работать.

Что делать, учиться то когда-то надо :)

[Максим Припадчев]

Степан, Учись, не на миллионах строк а на 10, где ты можешь по косточкам все разобрать. И понять в чем проблема и как это работает.

[Степан]

Максим Припадчев, будем стараться, в любом случае - большое спасибо за подсказки!

[Максим Припадчев]

Степан,
Кстати посмотри какой именно у тебя тип python объекта в ячейке.
Например

df = pd.DataFrame({
    'userID':[25,188,79],   
    'goalsID':['[1,2,4,5]','[3,6]','[1,9]'],
})
(
    df
    .assign(goalsID=lambda x: x['goalsID'].apply(lambda x: eval(x)))
    .explode('goalsID')
)

Может у тебя вот так там.

что делать, узнай python тип каждого значений ячейки goals id
вот так

(
    df.assign(goalsID_types = lambda x: x['goalsID'].apply(lambda x: type(x)))
    ['goalsID_types'].value_counts(dropna=False)
)

Что выдаст?

[Степан]

Максим Припадчев, глобально типа object, а ячейки пишет int64...

[Максим Припадчев]

Степан, Да это строка, почему только 4 выдает, если как ты говоришь у тебя миллион строк. dtype int64 тип данных структуры которую ты получил в ответе. Тип ячейки строка. Значит
вот это код

(
    df
    .assign(goalsID=lambda x: x['goalsID'].apply(lambda x: eval(x)))
    .explode('goalsID')
)

должен отработать. Ты возможно что то с фреймами там напутал. если у тебя миллион строк то предыдущий код должен должен другие цифры выдавать, он тебе говорит что 4 строки в колонке goalsID а у тебя их миллион и сколько там.

[Степан]

Максим Припадчев, в ячейке может быть от 0 до 600 строк.
Спасибо, сейчас потестирую код.
Миллион строк я имел ввиду - это в самом файле cvs.

Answer 2

[mayton2019]

Напиши на Python функцию которая на вход принимает твой массив и на выходе тоже выдает массив.

Потом у датафрейма есть метод apply() который твою функцию применяет.