Как в Python, Pandas сделать cumsum() по столбцу до определенного значения суммы?

Question

[Elick]

Здравствуйте, возник вопрос. Есть датафрейм с числами. Нужно применить к его столбцу функцию cumsum() так, чтобы он выдал кумулятивную сумму этого столбца, но значения складывались при определенном условии, после чего суммирование начиналось бы заново. Я пытаюсь придумать как это сделать без циклов, дабы было максимально быстро, но может кто-то уже знает решение. Заранее спасибо.

Прим.
Условие: если сумма <= 6, идет суммирование, иначе суммирование начинается заново
Столбец на вход ; Столбец на выход
1 ; 1
3 ; 4
2 ; 6
5 ; 5
3 ; 8
1 ; 1
2 ; 3

Comments

[Алан Гибизов]

Что-то не так с примером; в примере не должно быть значений больше 6, а там 8.

[Алан Гибизов]

Вообще, один проход всяко нужен, а это уж хоть методом, хоть циклом по-моему будет сравнимо по времени.

[Elick]

Алан Гибизов, да, виноват, ошибся

[Elick]

Алан Гибизов, Вот я тоже думаю, что похожу без цикла никак, просто когда там несколько миллионов строк, очень не хочется

[Elick]

Алан Гибизов, Хотя, можно в принципе наверно снизить количество итераций до числа, зависящего от заданной максимальной накопленной суммы, но хотелось бы быстрее

[Elick]

Elick, т.е. будет пересчитываться и сдвигаться кумсумма каждый раз как будет перебор предыдущей кумсуммы

[Алан Гибизов]

Elick, если их не выводить, а в файл, то это будет быстро - секунды. Самая затратная операция будет сравнение, а его всяко надо делать на каждом новом значении.

Вот накарябал:

data = [1, 3, 2, 5, 3, 1, 2]
result = []
z = 6
for n, i in enumerate(data):
    if n == 0:
        result.append(i)
    else:
        result.append(result[n-1] + i)
    if result[n] > z:
        result[n] = i
[print(f'{i[0]}:{i[1]}') for i in zip(data,result)]

[Алан Гибизов]

Можно подумать, как убрать первый if, будет некрасиво, но гораздо быстрее.

[Elick]

Попробовал что-то изобразить через кумсум без прохода по всему датасету, в итоге итераций получается столько же сколько и раз пересчитывается кумсумма, и нет необходимости бежать по всему датасету (на датасете с 6млн строк при пересчете суммы гдето 322 раза ушло около 40 секунд)

vals = pd.Series([1,3,2,5,3,1,2])

fv = 6

def cumscums(vals, fv = fv):
    vals_ = vals[vals<0]
    vv = vals.copy()
    while len(vals_)<len(vals):
        cs = vv.cumsum()  
        cc = (cs//fv).shift(1,fill_value=0)
        vb = cs[cc<1]
        vv = vv[cc>=1]
        vals_ = pd.concat([vals_,vb])
    return vals_

cumscums(vals, fv = fv)

[Elick]

Elick, дополнительные проблемки возникли с разделением датасета на две части, так как нужно было разделять после того как перевалило за 6, а не до. Но возможно можно это упростить, написал первое, что в голову пришло

[Viktor T2]

import pandas as pd

l = [[1, 1],[3, 4],[2, 6],[5, 5],[3, 8],[1, 1],[2, 3]]

df = pd.DataFrame(l)
df['cumsum'] = df[1].cumsum()
df['group'] = df[1].cumsum() // 6 # целочисленное деление как признак группы

df['cum'] = df.groupby('group')[1].cumsum()

print(df)

[Elick]

Viktor T2,
не то получается, нужно из столбика 0 получить столбик 1

[Elick]

Viktor T2,
наверное вы хотели там указать столбец 0, но я так пробовал, там идет накоп суммы, и номера групп уже не соответствуют нужным после второй итерации. (Плюс есть условие, что обнуление происходит после перехода суммы через 6, но это может решаться шифтами в случае кумсум по идее)

[Elick]

Elick, А так есть ощущение, что такая задачка пока решается только через циклы и никак иначе, хотя я пробовал рекурсивную функцию составлять, но это было зря вроде

[Elick]

Elick,

vals = pd.Series([1,3,2,5,3,1,2])

fv = 6

def cumscums1(vals, fv = fv):
    vals_ = []
    vals_.append(vals[0])
    for ind in range(1,len(vals)):
        if vals_[ind-1] < fv:
            vals_.append(vals_[ind-1] + vals[ind])
        else:
            vals_.append(vals[ind])
    return vals_

time_start = time.time()
cumscums1(vals, fv = fv)
time_end = time.time()
print(time_end - time_start)

попробовал всетаки просто с проходом по всему датасету, эта штука быстрее справляется чем та, что я делал через кумсуммы с меньшим количеством итераций, но это все равно долго

[Алан Гибизов]

Elick, for ind in range(1,len(vals)):
лучше делать через enumerate (я в примере показывал).

[Elick]

Алан Гибизов,

vals = pd.Series([1,3,2,5,3,1,2])

fv = 6

def cumscums(vals, fv = fv):
    vals_ = []
    vals_.append(vals[0])  
    vals = vals[1:]
    for ind,line in enumerate(vals, start=1):
        if vals_[ind-1] < fv:
            vals_.append(vals_[ind-1] + line)
        else:
            vals_.append(line)
    return vals_

ccc = cumscums(vals, fv = fv)
pd.Series(ccc)

Да, спасибо большое. Виноват, раньше никогда не использовал enumerate, хотя это все ускорило буквально раз в 6. Не знал что это даст столько эффективности

Answer 1

[Elick]

Самое быстрое, что получилось

vals = pd.Series([1,3,2,5,3,1,2])

fv = 6

def cumscums(vals, fv = fv):
    vals_ = []
    vals_.append(vals[0])  
    vals = vals[1:]
    for ind,line in enumerate(vals, start=1):
        if vals_[ind-1] < fv:
            vals_.append(vals_[ind-1] + line)
        else:
            vals_.append(line)
    return vals_

ccc = cumscums(vals, fv = fv)
pd.Series(ccc)

Answer 2

[Viktor T2]

import pandas as pd

l = [[1, 1],[3, 4],[2, 6],[5, 5],[3, 8],[1, 1],[2, 3]]

df = pd.DataFrame(l)
df['cumsum'] = df[1].cumsum()
df['group1'] = df[1].cumsum() // 6 # целочисленное деление как признак группы
df['group2'] = df[1] < 6

df['cum_6'] = df.groupby(['group1','group2'])[1].cumsum()

print(df)

Comments

[Elick]

кажется тут был взят не тот столбец для суммирования, столбец 1 это тот, что должен получиться, а столбце 0 - исходный

[Elick]

Но если поменять, то столбцы всеравно не совпадают

[Viktor T2]

Elick,
да, я понял, щас че-нибудь придумаем подругому

[Viktor T2]

Да, действительно, так не получится.
https://stackoverflow.com/questions/65536088/rolli...

[Elick]

Viktor T2,
Алан Гибизов предложил через цикл, но с использованием enumerate. Я к своему стыду про это не слышал или забыл. Но на данных в 6 млн строк цикл через range работал около 25 секунд, тогда как такой вариант работал за 4. Думаю кумсум если бы и был для этого, то показывал бы схожее время.

vals = pd.Series([1,3,2,5,3,1,2])

fv = 6

def cumscums(vals, fv = fv):
    vals_ = []
    vals_.append(vals[0])  
    vals = vals[1:]
    for ind,line in enumerate(vals, start=1):
        if vals_[ind-1] < fv:
            vals_.append(vals_[ind-1] + line)
        else:
            vals_.append(line)
    return vals_

ccc = cumscums(vals, fv = fv)
pd.Series(ccc)