Как на pandas получить подобие оконной функции SQL?

Question

[Сергей c0re]

просто подскажите можно ли и куда где смотреть, беглый тырнетпоиск результатов пока не дал... ((
надо сделать выборку как с sql row_number()

SELECT * FROM (
SELECT fields, row_number() over (partition by some_name order by date_time desc) n
) x WHERE n = 1

Answer 1

[Максим Припадчев]

Ну много способов есть, но самый верный смотреть в сторону groupby.

(
    df.
    assign(latest=lambda x:x
    .groupby("some_name")["date_time"]
    .transform(pd.Series.nlargest, 1)
          )
    .loc[lambda x: x['date_time'] == x['latest'],:]
)

Comments

[Сергей c0re]

ох тыж... как это переварить? ))

[Максим Припадчев]

Сергей c0re, Для начала это то что ты хотел?

[Сергей c0re]

Максим Припадчев, если б я мог это прочитать, я бы понял ))
а так я пандонуб... захотел sql код перевести на python + pandas
api -> json -> data frame -> обработка

видел еще один твой ответ, тоже что-то похожее вроде.

понять пока не могу, есть конечно догадки, пойду курить...

[Максим Припадчев]

Сергей c0re, Не понял, в чем проблема с прочтением. Я просто терпеть не могу плодить кучу переменных по этому пишу pandas используя chaining.

result = (
    df.
    assign(latest=lambda x:x
    .groupby("some_name")["date_time"]
    .transform(pd.Series.nlargest, 1)
          )
    .loc[lambda x: x['date_time'] == x['latest'],:]
)
print(result)

В чем проблема запустить этот код. На некой категориальной переменной он выберет подсет с самыми большими датами по каждой группе. Я создал временную колонку latest последняя дата, затем сгрупировал затем трансформировал ее методом series, nlargest и оставил самую последнюю дату например мог оставить 2-3 да сколько угодно. Затем выбрал этот подсет, если временная колонка latest не нужна то ее можно дропнуть в конце. Я в целом принцип показал. вместо pd.Series.nalrgest можешь использовать приблизительно тысячу других функций или написать свою.

[Сергей c0re]

Максим Припадчев, я ж говорю - я newbie )
без 5 минут как pandas "спец" )))
пойду открою гуглколаб и покручу это

за направление спасибо, буду переваривать это.

[Максим Припадчев]

Сергей c0re,

делает какую-то дичь и выводит что-то непонятно странное... !???

.loc[lambda x: x['date_time'] == x['latest'],:] выбирает те строки где твоя дата равна последней дате, довольно понятно. Четко сформулируй что ты хочешь. 46 строк по количеству твоих групп. У тебя file_name содержит 46 групп. Я сейчас глянул на данные там у тебя более чем одна строка может быть (в последней дате). Если ты хочешь оставлять все значения опять таки опций много можно rank использовать например как то так

result = (
    df.
    assign(
    latest=lambda x:x
    .groupby("file_name")["date_time"]
    .rank(method='dense')
          )
    .loc[lambda x: x['latest'] == 1,:]
)

result

Возможно надо будет, поменять параметр, потому что точно что ты хочешь получить ты не говоришь. Все я тебе достаточно помог.

[Сергей c0re]

Максим Припадчев, да все норм, спасибо! я извиняюсь, "ступил" смотрел на индекс... разобрался, доделал полную обработку.

вопрос еще можно?
можно ли в lambda функцию засунуть конструкцию типа switch case ? (в зависимости от условия/значения каких-то других колонок, задавать/возвращать определенные значения)

у меня это получилось только через вынос в отдельную функцию и затем df.apply (func, axis=1)

пробовал через словарь типа
df.assign(ord=lambda x: {'val1':1 , 'val2':2.........}[x['col']])

ругается что хеш не может быть серией (Как-то так)

PS: нужно задать порядок (первый) для сортировки в зависимости от префиксов значения, я нагородил это через доп. колонки, выделил префикс в отдельную колонку, по этой колонке создал новую ord через df.apply (func, axis=1) с "индексами" для сортировки (префиксы - наименования и сортируются не по афлв. наименованию а по определенному порядку, поэтому задаю его в ord), затем отсортировал фрейм по двум колонкам ord и file_name
предполагаю что можно решить без доп. колонок на функции...

[Максим Припадчев]

Сергей c0re, Выглядит как два вопроса. Если нужна сортировка по префиксу то можно так. Хотя опций много

df = pd.DataFrame({
    'A':['first_sometext','second_some_text','first_numbers','third_text','second_something'],
    'B':[100,4,2,45,23]
})
result = (
    df.assign(
        prefix = lambda x: pd.Categorical(x['A'].str.split('_').str[0],categories=['first','second','third'])
    )
    .sort_values(by='prefix')
    .drop(columns=['prefix'])
)
print(result)

lambda не поддерживает конструкции по типу swith case. как в SQL case when then, на уровне lambda нету.
Реализуется это приблизительно многими способами.

result = (
    df.assign(
        prefix = lambda x: pd.Categorical(x['A'].str.split('_').str[0],categories=['first','second','third'])
    )
    .sort_values(by='prefix')
    .assign(conditions='default')
    .assign(conditions= lambda x:x['conditions'].where(~(x['prefix']=='first'),'Первый'))
    .assign(conditions= lambda x:x['conditions'].where(~(x['prefix']=='second'),'Второй'))
    .assign(conditions= lambda x:x['conditions'].where(~(x['prefix']=='third'),'Третий'))
    .drop(columns=['prefix'])
)
print(result)

Это общий кейс если нужно реализовать сложные булевые выражеия в моем случае они простые но ты можешь впихнуть туда сложные выражения для многих колонок.

Формально туже самую замену что я сделал можно сделать проще. replace и там словарь ключ значение. Где ключ что меняем значение на что заменяем. Но мой вариант выше позволяет организовыть сколь угодно сложные замены.

[Сергей c0re]

Максим Припадчев, м... мне кажется я понял как словарь использовать в качестве свитча - через .apply и как это поместить в chaining - в .assign, чтобы вообще все это написать в одной "chaining", вся процедура получилась такой:

(
    df
    .assign(date_time=lambda x: pd.to_datetime(x['date_time']))
    .assign(rank=lambda x:x
      .groupby('file_name', as_index=False)['date_time']
      .rank(method='first', ascending=False)
    )
    .loc[lambda x: x['rank'] == 1]
    .assign(order=lambda x:x
        .apply(
        lambda x:
        {
        'table'   : 0,
        'view'    : 1,
        'trigger' : 2,
        'func'    : 3,
        'proc'    : 4
        }.get(x['file_name'].split('_')[0], 10)
        , axis=1
      )
    )
    .sort_values(['order', 'file_name'], ascending=[True, True])
    .reset_index(drop=True)
    .drop(columns=['rank','order'])
)

colab google

PS: спасибо! )

[Максим Припадчев]

Сергей c0re, Неплохо, для того кто только учится с pandas работать. Дам тебе пару тройку советов, если предстоит писать pandas в проде. Сейчас может они тебе покажутся лишними но потенциально они могут с экономить недели времени.
1. Когда решаешь pandas проблему то старайся решать класс проблем а не конкретную и оборачивать это дело в функцию (сам завпрос например), где параметры функции это частности (в том числе и твоя проблема)

2. изучи из доков .pipe()

3. налегай на chaining ты можешь комментировать раскомментировать строки внутри chain это экономит тьму времени, когда нужно смотреть двигаешься ты в нужном направлении или нет.

Иотого твоя большая pandas проблема делится декомпозируется на подпроблемы, оборачивается в функции и затем ты это дело выстраиваешь в pipeline методом pipe. Псевдо код будет такой.

original_frame = pd.DataFrame(data=some_data)
def first_function(df:pd.DataFrame,*args,**kwargs)->pd.DataFrame:
    pass

def second_function(df:pd.DataFrame,*args,**kwargs)->pd.DataFrame:
    pass

def third_function(df:pd.DataFrame,*args,**kwargs)->pd.DataFrame:
    pass

result = (
    original_frame
    .pipe(first_function,*args, **kwargs)
    .pipe(second_function,*args, **kwargs)
    .pipe(third_function,*args, **kwargs)
    ...
    ...
    .pipe(last_function,*args,**kwargs)
)

Вот таким образом твой pandas код не превратится во что то нельзя поддерживать улучшать и т.д. И ты будешь иметь доступ к каждому уровню своей декомпозированной большой проблемы.

Удачного кодинга.

[Сергей c0re]

Максим Припадчев, спасибо за советы! )

Answer 2

[otdameskapizm]

Можете попробовать вот такой способ (если я правильно понял ваш запрос с ранжированием и дальнейшей фильтрацией). Здесь используется группировка по определенной колонке, а затем внутри этой группы ранжируются значения. Выглядит вот так:

import pandas as pd

data = pd.DataFrame({
    'key_1' : ['x', 'x', 'x', 'y', 'y', 'y'],
    'key_2' : [1, 2, 3, 4, 5, 6]
})

# Здесь добавляете ранги внутри каждой из групп
data['rank'] = data \
    .groupby('key_1', as_index=False)['key_2'] \
    .rank(method='first', ascending=True) \

# Здесь происходит фильтрация по рангу
data = data.loc[data['rank'] == 1]

Вот здесь есть подробная документация для этого способа: https://pandas.pydata.org/docs/reference/api/panda...