Как транспонировать таблицу в пандасе так, чтобы даты стали группирующей колонкой над всем, кроме времени?

Question

[LakeForest]

Исходная таблица:

|-------------|--------|-----------|------------------|
| дата-------| часы  | процент | опрошенных |
|-------------|--------|-----------|------------------|
| 23-01-01 | 10:00 | 10.2-----| 20--------------|
|-------------|--------|-----------|-----------------|
| 23-01-01 | 11:00 | 11.2-----| 27--------------|
|-------------|--------|-----------|-----------------|
| 24-01-01 | 10:00 | 22.2-----| 40--------------|
|-------------|--------|-----------|-----------------|
| 24-01-01 | 11:00 | 42.2-----| 12--------------|

Необходимо получить таблицу вида:

|--------|------------------------------|-----------------------------|
| дата--| 23-01-01------------------| 24-01-01-----------------|
|--------|------------------------------|-----------------------------|
| часы  | процент | опрошенных | процент | опрошенных  |
|--------|-----------|------------------|-----------|------------------|
| 10:00 | 10.2-----| 20--------------| 22.2-----| 40---------------|
|--------|-----------|------------------|-----------|------------------|
| 11:00 | 11.2-----| 27--------------| 42.2-----| 12---------------|
| AVG   | 10.7 .....

Дошел до того, чтобы через groupby сделать по дате и времени, но время отрисовывается опять же для каждой даты:
df.groupby(['дата', 'часы']).mean()

Может кто-нибудь знает изящный способ быстро преобразовать таблицу к нужной структуре?

Comments

[Максим Припадчев]

Не совсем понятно что вы все таки хотите сделать, вот вы говорите groupby по дате, в вашей таблице две даты то есть он создаст две группы и на этих группах вы можете запускать аггрегирующие функции. То есть если вы группируете по дате ваш датафрем будет иметь два строки потому что группы две. Если смотреть на желаемый результат то нужно смотреть в сторону reshaping dataframe в документации потому что вы просто переформатируете датафрейм на тех же данных. group by это про аггрегируещее функции а не про перформатирование фрейма. Непонятно что хотите по этому не могу ответить.

[LakeForest]

Максим Припадчев, мне нужен желаемый результат, то есть да - переформатирование. Просто с pivot так и не понял как сделать, поэтому начал без groupby пытаться...

[Модератор]

Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

Answer 1

[Максим Припадчев]

import pandas as pd
#создаю такую же таблицу как у тебя
df = pd.DataFrame({
    'Дата':['23-01-01','23-01-01','24-01-01','24-01-01'],
    'Часы':['10:00','11:00','10:00','11:00'],
    'Процент':[10.2,11.2,22.2,42.2],
    'Опрошенных':[20,27,40,12]
})
#само решение
reshaped_df = df.pivot(index=['Дата'],columns='Часы',values=['Процент','Опрошенных'])\
    .swaplevel(axis=1).T.reset_index()\
    .pivot(index='Часы',columns='level_1')
reshaped_df.columns.names = ['Дата',None]
print(reshaped_df)

Ну в общем вот сделал такую же таблицу как у тебя в желаемом результате, решение работает, но конечно возможно наверное чуть по короче, задачка то переформатировать именно вот таким замудренным образом (не могу представить зачем с ней же неудобно работать) отнюдь не самая простая. Но сделал.

Да у тебя порядок [процент, опрошенных, процент, опрошенных] а у меня [опрошенных, процент, опрошенных, процент] на данные сами числа естественно полностью совпадают. Если это играет какую-то роль то столбцовые мульти-индексы сам подправишь. А в остальном полная копия твоей таблицы.

Comments

[LakeForest]

Странно, у меня такая же таблица по сути, но значений побольше.
Но мне не дает повернуть таблицу с моими значениями:

ValueError: Index contains duplicate entries, cannot reshape

[Максим Припадчев]

LakeForest, Значит если у вас больше колонок больше в values нужно вставлять, вы предоставили таблицу попросили можно ли переформатировать подобным образом, если запустить код он работает и полностью выполняет условие задачи.

[LakeForest]

Интересно, почему-то мою импровизированную строку, где я в 00:00 считал средние значения не принимает. Но вообще сработало. Раннее не встречал таких запросов и команд в pandas-е, было полезно)) Спасибо огромное!

[Максим Припадчев]

LakeForest, Ну отлично что получилось, переформатирование это самая сложная тема в пандас и увы по документации просто учится тяжело. Но без нее никуда, pivot, pivot_table, melt, stack, unstack и все это в комплексе то есть, применяешь эти методы по цепочке, это самое сложное.