Как в pandas объединить непрерывную последовательность событий одного типа в интервал?

Question

[Иван Мельников]

Имеется DataFrame:

	user_id	EventType	EventTime
0	1	impression	2022-07-25 02:21:17
1	1	impression	2022-07-25 02:21:19
2	1	impression	2022-07-25 02:25:19
3	1	click	2022-07-25 02:26:25
4	1	click	2022-07-25 02:27:17
5	1	impression	2022-07-25 02:27:18
6	1	click	2022-07-25 02:29:18

Нужно получить след. DataFrame, в котором последовательные серии собыйти одного типа сгруппированы в одну строку:

	user_id	EventType	first	last
0	1	impression	2022-07-25 02:21:17	2022-07-25 02:25:19
1	1	click	2022-07-25 02:26:25	2022-07-25 02:27:17
2	1	impression	2022-07-25 02:27:18	2022-07-25 02:27:18
3	1	click	2022-07-25 02:29:18	2022-07-25 02:29:18

Answer 1

[Максим Припадчев]

Давай по порядку пандас запрос который решает вопрос.

(
    df
    .assign(
        groups=(df['EventType'] != df['EventType'].shift())
        .cumsum()
    )
    .groupby('groups'
    )
    .agg(
        first= pd.NamedAgg(column='EventTime',aggfunc=lambda x: np.min(x)),
        last= pd.NamedAgg(column='EventTime',aggfunc=lambda x: np.max(x)),
        EventType= pd.NamedAgg(column='EventType',aggfunc=lambda x: set(x).pop()),
        user_id=pd.NamedAgg(column='user_id',aggfunc=lambda x: set(x).pop()),
        )
    .reset_index(drop=True)
    .loc[:,['user_id','EventType','first','last']]
)

Ключевая история это группировка с последовательно повторяющимися значениями. Вот этот запрос по сути решает весь вопрос

(
    df
    .groupby(
        (df["EventType"] != df["EventType"].shift())
        .cumsum()
    )
    .agg({"EventTime" : ["min", "max"]})
)

Остальное это манипуляции для идентичного твоему вывода (писал на скорую руку совместил агрегации с трансформациями) что не есть хорошо, я бы поработал и сделал лучше. В целом сработает и для строк, но лучше привести EventTime к типу данных datetime64[ns]. Сделать это можно

(
    df.assign(
        EventTime=lambda x: pd.to_datetime(x['EventTime'],format='%Y-%m-%d %H:%M:%S')
    )
   ... 
)

Comments

[Иван Мельников]

Спасибо!
Пока до конца не разобрался, но вроде как при группировке ты забыл учесть user_id.
И если в изначальном отсортированном DataFrame
df = df.sort_values(['user_id', 'EventTime'])

два юзера касаются друг друга событиями одног ои того же типа, то last залазит не след. юзера.

[Максим Припадчев]

Иван Мельников, Я его вообще не учитывал, это было не очевидно из твоего вопроса. Можно учесть это вообще не проблема. Нужно точно видеть что ты хочешь на выходе с учетом разных ID, ну а так то группировка по двум или более колонкам не проблема, там где groupby просто ([user_id, groups]) а из агригации его выкинуть и отреглуировать reset_index по скольку он будет многоуровненвый.

[Максим Припадчев]

Иван Мельников,

(
    df
    .assign(
        EventTime=lambda x: pd.to_datetime(x['EventTime'],format='%Y-%m-%d %H:%M:%S')
    )
    .assign(
        groups=(df['EventType'] != df['EventType'].shift())
        .cumsum()
    )
    .groupby(['user_id','groups']
    )
    .agg(
        first= pd.NamedAgg(column='EventTime',aggfunc=lambda x: np.min(x)),
        last= pd.NamedAgg(column='EventTime',aggfunc=lambda x: np.max(x)),
        EventType= pd.NamedAgg(column='EventType',aggfunc=lambda x: set(x).pop()),
        # user_id=pd.NamedAgg(column='user_id',aggfunc=lambda x: set(x).pop()),
        )
    .reset_index()
    .loc[:,['user_id','EventType','first','last']]
) Будет вот так. Все Идентично, только теперь группировка будет по двум колонкам.

[Иван Мельников]

Максим Припадчев, разобрался. Спасибо.