Как реализовать цикл для обработки данных?

Question

[organica]

Уважаемые знатоки, помогите пожалуйста решить рутинную рабочую задачу. Ежемесячно она меня терзает,сил терпеть это больше нет, а автоматизировать расчет не получается.
Кратко: есть excel таблица, которая отражает количество выполненных операций сотрудником. Файл выгружается из системы учета. При работе сотрудника в ночную смену ( с 20:00 по 8:00 ) его операции разделяются на две строки: с 20:00 по 24:00 и с 24:00 по 08:00. Мне регулярно необходимо мониторить среднюю производительность работника, но вот эти задвоенные строки портят мне всю жизнь.

Изначально попробовал через pandas, перевел excel в DF, далее groupby().mean() и казалось бы, результат вышел. Однако при перепроверке результатов и вылез сей баг: допустим сотрудник в ночную смену сделал 2000 операций, но половина была до полуночи, а вторая половина после полуночи. При аггегировании получается что в среднем он сделал 1000 операций. Тем самым итоговая производительность за месяц сильно занижается. Ковырять руками длинюющий список из 90+ сотрудников идея так себе.
Что я хочу, но не могу получить:
Если сотрудник работает 2 календарных дня подряд, то значения по столбцу с колчичеством работы следует суммировать и записать в новый DF в формате дата-сотрудник-количество операций. Бывает так, что сотрудник выходит на подработку и работает 3 дня пордяд. В таком случае третий повторный день не следует суммировать, а следует учитывать как отдельную рабочую смену( после третьего дня повтора сотрудника точно не будет).

Структура сгруппированного DF:

df1.groupby(['Personnel','Work_Date'])['Boxes_Picked_Picking'].sum().head(50)

Personnel         Work_Date 
Aleksey           2020-05-25     519
                  2020-05-26     223
                  2020-05-27     203
                  2020-05-29     265
                  2020-05-30     262
                  2020-05-31     510
                  2020-06-02     329
                  2020-06-03     486
                  2020-06-04     766
                  2020-06-07     343
                  2020-06-08     372
                  2020-06-10     563
                  2020-06-11     289
                  2020-06-12     547
                  2020-06-14     829
                  2020-06-19     290
                  2020-06-20     783
                  2020-06-22    1006
                  2020-06-23     467
                  2020-06-24     875
                  2020-06-25     571
                  2020-06-26      16
                  2020-06-27     292
                  2020-06-28     562
                  2020-07-01     378
                  2020-07-02     542
                  2020-07-04     832
                  2020-07-05     429
                  2020-07-06     599
                  2020-07-08      88
                  2020-07-09     328
                  2020-07-10     877
                  2020-07-12     916
                  2020-07-14     190

Как мне разрешить свою задачу, в какую сторону думать?

Comments

[organica]

Сначала думал в сторону итераций по строкам датафрейма, но как оказалось - это антипаттерн

[Влад Григорьев]

organica, в вашем примере нет никакого времени, и как-то смапатить смены нельзя
я бы сначала смапил все смены по дельте в часах если они указаны. а потом уже с группировал и что-то делал

[organica]

Влад Григорьев, А имея только дату ничего не сделать?

[Влад Григорьев]

organica, всегда что-то можно сделать, вопрос только в бизнесовой задачи.
определите как бы вы руками определяли, что идет одна смена, и исходя из этого можно уже думать над алгоритмом.

[organica]

Влад Григорьев,

Personnel         Work_Date 
Aleksey           2020-05-25     519
                  2020-05-26     223
                  2020-05-27     203
                  2020-05-29     265
                  2020-05-30     262
                  2020-05-31     510
                  2020-06-02     329
                  2020-06-03     486
                  2020-06-04     766
                  2020-06-07     343
                  2020-06-08     372

Руками определять вот так:
Две последовательно идущие даты у человека- ночная смена(25,26; 29,30 ; 2,3 ; 7,8). Третья последовательная дата- подработка(27,31,4,8 ).
По итогу мне надо, чтобы было 8 строчек.
Не назвал бы это бизнесовой задачей, просто утомляет как в каменном веке это руками сводить. Питон малость знаю, но до уровня решения такой задачи знаний не хватает. В какую сторону думать и не знаю, вот решил совета у бывалых спросить :)
По итогу разница в среднем почти в 2 раза:
543 против 389

[Влад Григорьев]

organica, ну смотрите у вас есть массив

{datetime.datetime(2020, 5, 25, 0, 0): '519',
 datetime.datetime(2020, 5, 26, 0, 0): '223',
 datetime.datetime(2020, 5, 27, 0, 0): '203',
 datetime.datetime(2020, 5, 29, 0, 0): '265',
 datetime.datetime(2020, 5, 30, 0, 0): '262',
 datetime.datetime(2020, 5, 31, 0, 0): '510',
 datetime.datetime(2020, 6, 2, 0, 0): '329',
 datetime.datetime(2020, 6, 3, 0, 0): '486',
 datetime.datetime(2020, 6, 4, 0, 0): '766',
 datetime.datetime(2020, 6, 7, 0, 0): '343',
 datetime.datetime(2020, 6, 8, 0, 0): '372'}

вы можете собрать линк словарь где найти разницу между каждой парой данных

{datetime.datetime(2020, 5, 25, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 5, 26, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 5, 27, 0, 0): datetime.timedelta(days=-2),
 datetime.datetime(2020, 5, 29, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 5, 30, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 5, 31, 0, 0): datetime.timedelta(days=-2),
 datetime.datetime(2020, 6, 2, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 6, 3, 0, 0): datetime.timedelta(days=-1),
 datetime.datetime(2020, 6, 4, 0, 0): datetime.timedelta(days=-3),
 datetime.datetime(2020, 6, 7, 0, 0): datetime.timedelta(days=-1)}


ну и по этой дельте, вы можете понимать если первая дельта равная -1 то это смена, если вторая то подработка.
а дальше уже чет придумывать и разделить на однородные данные

[organica]

Влад Григорьев, Как собрать такой словарь? По какой логике цикл строить? Если сравнивать последующий элемент с предыдущим- выходит ерунда какая-то

[Влад Григорьев]

organica, словарь d изначальный, можно посчитать разницу между двумя следующими точками, и судя вашей логики каждая вторая пара с разницей в -1, это переработка, а каждая первая это ночная смена.
из соответственно можно разделить это на несколько массивов исходя из этой логике. И по ней вы можете дальше чет делать и строить

keys = list(d.keys())
sss = {}
for a,b in zip(keys, keys[1:]):
...     sss[a] = a-b

[organica]

Спасибо, буду продолжать грызть гранит автоматизации работы :)

Answer 1

[Andy_U]

Вы, очевидно, неправильно считаете среднее.

Comments

[organica]

В приведенной выше таблице я посчитал не среднее, а сумму, чтобы наглядно было о чем речь

[organica]

Пример того, что подсчеты получаются, но цифра не отражает действительность, она сильно занижена т.к. ночные смены увеличивают знаменатель при подсчете среднего значения

df1.groupby(['Personnel','Month'])['Boxes_Picked_Picking'].mean().unstack('Month')

Month	Июль	Июнь	Май
Personnel			
Aleksey 517.900000	521.444444	330.333333
Andrey	79.000000	276.500000	189.166667
Tatyana	0.000000	0.000000	26.250000
Aleksandr	990.181818	1097.347826	1383.714286
Andrey	418.600000	626.714286	583.600000

[Andy_U]

organica,

Изначально попробовал через pandas, перевел excel в DF, далее groupby().mean() и казалось бы, результат вышел. Однако при перепроверке результатов и вылез сей баг: допустим сотрудник в ночную смену сделал 2000 операций, но половина была до полуночи, а вторая половина после полуночи. При аггегировании получается что в среднем он сделал 1000

Вот это - неправильно.

[organica]

Andy_U, Вот и я это заметил. А как это изящно реализовать пандой - не знаю, умений не хватает :)

[Andy_U]

organica, Да причем здесь софт? Разберитесь сначала, что такое среднее. Вот вам простейший пример: пусть за первые 3 часа человек прошел 15 км, за следующие 5 часов 17 километров. Найдите среднюю скорость.

[organica]

Пример со скоростью не совсем тот, у меня в расчете нет трех взаимозависимых переменных.
Если следовать аналогии с вашим примером, мне надо всего лишь посчитать суммарное количество пройденных километров

[Andy_U]

organica, Вам надо посчитать суммарное число операций, поделить его на сумму рабочих часов и умножить результат на 8. Это если отвлечься от переработок. Вы, кстати, сказали, что больше 3-х суток подряд быть не должно, однако в вашем файле серии длиннее.