Как правильно пользоваться индексами pandas?

Question

[Rudolf Nemov]

Здравствуйте, я пытаюсь решить данную задачу. Она достаточно интересна.

Функция должна получать на вход pandas.DataFrame, как на изображении, а на выходе отдавать победителя выборов.

В задании также указано, что стоит использовать функции .idxmax(), .sort_index(), .groupby()
Но я уже несколько часов не могу её решить...



Идея в том, что тот кандидат, за которого проголосовало большинство избирателей забирает полное значение из колонки electors

Насколько я понял, мне нужно:
1. отгруппировать по штатам
2. отсортировать по имени кандидата
3. найти победителя в каждом штате
4. Затем мне как-то нужно получить количество electors умноженное на "победил ли этот кандидат", по логике "все или ничего"

Вот, как мой код выглядит сейчас:

def winner_votes(df_in):
    df = df_in.groupby(['state', 'electors'], sort=False).first()
    df.sort_index(axis=1, inplace=True)
    df['winner'] = df.idxmax(axis=1)
    return df

На выходе получается такой датафрейм:



Я не понимаю, как мне добавить к этому датафрейму колонку "score", я бы хотел в ней разместить нечто вроде df[ df.index == df['winner'] ] * df['electors'], но, конечно, такой подход не работает..

Answer 1

[Rudolf Nemov]

Решение нашёл с привлечением более опытных коллег :)

def winner_votes(df):
    votes = df.drop(columns=['state']).set_index('electors')
    votes = votes.T.sort_index().idxmax().reset_index()
    votes = votes.groupby(0)['electors'].sum().nlargest(1)
    return (list(votes.index)[0], list(votes.values)[0])

Comments

[o5a]

Только разберитесь с изначальными данными. Если так же передавать неоднозначные данные, вроде ['Vaes Dothrak', 2, 0.2, 0.5, 0.5], то победитель будет определяться в алфавитном порядке. Если в данном случае назвать не 'Deineris Targarien', а 'UDeineris Targarien', то ответ получится другим:

('UDeineris Targarien', 5)

Answer 2

[dmshar]

Ничего не понял из вопроса, но "победитель" по последней приведенной таблице находиться просто - группируем по "winner" и считаем сумму "electors" в группе. Потом выбираем ту группу (того кандидата) у кого эта сумма максимальна.

Если это не ответ на ваш вопрос - уточняйте , переформулируйте и задавайте конкретный вопрос так, ,что-бы можно было понять, что именно вам не понятно.

Comments

[Rudolf Nemov]

Большое спасибо за ответ! Извините за неточные формулировки. Дело в том, что я сейчас не понимаю, как получить доступ к electors после группировки. Я попробовал сгруппировать по winner, вот, что получается сейчас

def winner_votes(df_in):
    df = df_in.groupby(['state', 'electors'], sort=False).first()
    df.sort_index(axis=1, inplace=True)
    df['winner'] = df.idxmax(axis=1)
    return df.groupby('winner').first()

df = pd.DataFrame([['Winterfell', 3, 0.6, 0.3, 0.1],
 ['Riverrun', 5, 0.3, 0.2, 0.5],
 ['Vaes Dothrak', 2, 0.2, 0.5, 0.5]], columns=['state', 'electors', 
                                               'Arya Stark', 
                                               'Tyrion Lannister', 
                                               'Deineris Targarien'])

print(winner_votes(df))

Я предполагаю, что мне нужно использовать нечто вроде df.groupby('winner').agg({'electors': np.sum}), но получаю KeyError

[dmshar]

Rudolf Nemov, Я бы рад вам помочь, но очень не рад необходимости самостоятельно набивать ваш датафрейм. Приведите кусочек кода с его описанием, покажите, что вы уже сделали, что-бы можно было взять, скопировать и запустить ваш скрипт на компьютере и уже потом дополнить тем, что вам надо. Можете начинать с того датафрейма, который вы получили после того, как определили winner.
P.S. Пока писал - ниже привели вариант. Так что можно считать вопрос закрытым., наверное.

[Rudolf Nemov]

dmshar, к сожалению, ответ ниже не помог. Если у вас есть сегодня 15 свободных минут, пожалуйста напишите мне в телеграм @rudie_duddie
Я действительно застрял с этой задачей, но мне очень важно понять, как она должна быть решена, я буду рад оплатить помощь. Надеюсь, что не нарушаю условия площадки

[dmshar]

Rudolf Nemov, Сделайте то, что я просил в предыдущем сообщении.

[Rudolf Nemov]

import pandas as pd
import random
import numpy as np

from typing import Tuple

"""
Write the function to detect the winner of votes winner_votes(df),
which get as an input pandas df and returns as a result tuple 
(list in () instead of []) like ('winner name', votes). 
The voting is by majority for the state 
(if equal votes assume the alphabetical order prevails).
"""


def winner_votes(df_in: pd.DataFrame) -> Tuple[str, int]:
    # здесь мы группируем данные по штатам, поскольку
    # electors будут мешать мне определить максимальные значения
    # не придумал ничего лучше, кроме как добавить в группу
    df = df_in.groupby(['state', 'electors'], sort=False).first()
    # затем я сортирую кандидатов по имени
    # в задании есть пунтк, что мне нужно выбирать победителей в штатах
    # в алфавитном порядке при равных значениях
    df.sort_index(axis=1, inplace=True)
    # затем в колонку winner я добавляю имя кандидата
    df['winner'] = df.idxmax(axis=1)
    # после этого я попытался сгруппировать данные по этой колонке
    # но получилось достаточно странно и мне не понятно, как с ними работать дальше
    """                    Arya Stark  Deineris Targarien  Tyrion Lannister
winner                                                              
Arya Stark                 0.6                 0.1               0.3
Deineris Targarien         0.3                 0.5               0.2
    """
    return df.groupby('winner').first()




df = pd.DataFrame([['Winterfell', 3, 0.6, 0.3, 0.1],
 ['Riverrun', 5, 0.3, 0.2, 0.5],
 ['Vaes Dothrak', 2, 0.2, 0.3, 0.5]], columns=['state', 'electors', 
                                               'Arya Stark', 
                                               'Tyrion Lannister', 
                                               'Deineris Targarien'])

assert winner_votes(df) == ("Deineris Targarien", 7)

def mktable(seed):
    states = ['Florida', 'Connecticut', 'Georgia', 'Texas', 'Vermont', 
              'New Mexico', 'Illinois', 'Kentucky', 'Iowa', 'Alaska', 
              'New York', 'Massachusetts', 'Arkansas', 'Missouri', 'Kansas', 
              'Idaho', 'Wisconsin', 'Mississippi', 'Washington', 'Oklahoma', 
              'California', 'South Carolina', 'Hawaii', 'Maryland', 'Arizona', 
              'Montana', 'Ohio', 'Oregon', 'Rhode Island', 'South Dakota', 
              'Alabama', 'North Dakota', 'Virginia', 'New Jersey', 'Wyoming', 
              'Maine', 'D.C.', 'Tennessee', 'Pennsylvania', 'Nebraska', 
              'Delaware', 'Michigan', 'New Hampshire', 'Indiana', 
              'North Carolina', 'Colorado', 'West Virginia', 'Utah', 
              'Minnesota', 'Louisiana', 'Nevada']
    candidates = ['Clinton', 'Trump', 'Johnson', 'Stein', 'Castle', 
                  'McMullin']
    random.seed(seed)
    np.random.seed(seed)
    states_ = random.sample(states, random.randrange(1, len(states)))
    candidates_ = random.sample(candidates, 
                                random.randrange(1, len(candidates)))
    results = np.random.uniform(size=(len(candidates_), len(states_)))
    results = (results / results.sum(axis=0)).T
    electors = np.random.randint(1, 20, size=len(states_))
    return pd.concat([pd.Series(states_, name='state'),
                      pd.Series(electors, name='electors'), 
                      pd.DataFrame(results,
                                   columns=candidates_)], axis=1)

for i, result in enumerate([('Stein', 107), ('Clinton', 48), ('Castle', 18), 
                            ('Trump', 63), ('Johnson', 88), ('Johnson', 196), 
                            ('Johnson', 88), ('McMullin', 62), ('Trump', 51), 
                            ('Johnson', 295), ('Johnson', 79), ('Stein', 84), 
                            ('Clinton', 285), ('Trump', 84), ('Stein', 55), 
                            ('McMullin', 59), ('Clinton', 110), 
                            ('McMullin', 162), ('Johnson', 45), 
                            ('Clinton', 165), ('Castle', 156), 
                            ('Johnson', 47), ('Trump', 83), ('Trump', 287), 
                            ('Stein', 268), ('Castle', 275), ('Clinton', 235), 
                            ('Trump', 434), ('Stein', 24), ('Castle', 135), 
                            ('Trump', 99), ('Stein', 17), ('Clinton', 23), 
                            ('Clinton', 133), ('Trump', 159), ('Trump', 88), 
                            ('McMullin', 77), ('Johnson', 436), 
                            ('Stein', 211), ('Johnson', 158), ('Trump', 114), 
                            ('Castle', 259), ('Johnson', 431), 
                            ('Johnson', 19), ('Castle', 304), ('Trump', 118), 
                            ('Castle', 18), ('McMullin', 141), 
                            ('Clinton', 197), ('McMullin', 14), 
                            ('Trump', 259), ('Castle', 87), ('Trump', 171), 
                            ('Castle', 120), ('Johnson', 48), ('Stein', 54), 
                            ('Trump', 382), ('Trump', 30), ('Trump', 134), 
                            ('McMullin', 77), ('Trump', 72), ('Stein', 114), 
                            ('Clinton', 152), ('McMullin', 105), 
                            ('Clinton', 279), ('Trump', 241), ('Castle', 23), 
                            ('McMullin', 27), ('Stein', 148), ('Trump', 420), 
                            ('Castle', 42), ('Clinton', 114), ('Stein', 23), 
                            ('Castle', 68), ('Clinton', 328), 
                            ('Johnson', 149), ('Trump', 97), ('Trump', 91), 
                            ('Trump', 51), ('McMullin', 45), ('Johnson', 56), 
                            ('McMullin', 167), ('Stein', 57), ('Castle', 111), 
                            ('Stein', 477), ('McMullin', 82), 
                            ('Clinton', 173), ('Clinton', 77), ('Trump', 273), 
                            ('Trump', 43), ('Trump', 68), ('Stein', 34), 
                            ('McMullin', 185), ('Clinton', 293), 
                            ('Johnson', 138), ('Stein', 261), 
                            ('Johnson', 131), ('Johnson', 58), 
                            ('Trump', 85), ('McMullin', 283)]):
    assert winner_votes(mktable(i)) == result, "Something wrong "\
                                               "with table\n" + \
                                            str(mktable(i)) + "\nExpected " +\
                                            str(result) + "\nObtained: " + \
                                            str(winner_votes(mktable(i)))

Answer 3

[o5a]

Считаем сумму в группировке по найденной колонке с максимальным значением из трех, и от результата берем idxmax. Примерно так

df.groupby(df.iloc[:,2:5].idxmax(axis=1)).sum()['electors'].idxmax()

Comments

[Rudolf Nemov]

Спасибо за ответ!

Скажите, зная победителя, как я могу найти голоса отданные за него?
Я пробую нечто подобное

winner = df_in.groupby(df_in.iloc[:,2:999].idxmax(axis=1)).sum()['electors'].idxmax()
return df_in[df_in[winner] == df_in.max()]['electors'].sum()

Но получаю ValueError: Can only compare identically-labeled Series objects

У меня сейчас такие входные данные для тестирования:

df = pd.DataFrame([['Winterfell', 3, 0.6, 0.3, 0.1],
 ['Riverrun', 5, 0.3, 0.2, 0.5],
 ['Vaes Dothrak', 2, 0.2, 0.5, 0.5]], columns=['state', 'electors', 
                                               'Arya Stark', 
                                               'Tyrion Lannister', 
                                               'Deineris Targarien'])

[o5a]

Rudolf Nemov, наверное так проще

gdf = df.groupby(df.iloc[:,2:5].idxmax(axis=1)).sum()['electors'].reset_index()
gdf.loc[gdf['electors'].idxmax()].to_list()

[Rudolf Nemov]

К сожалению получаю ['Deineris Targarien', 5] вместо ['Deineris Targarien', 7]
Очень сложная задача с моим уровнем знаний Pandas, спасибо, что помогаете мне.
Я убрал ограничение на 5 индексов, т.к. количество кандидатов и штатов будет варьироваться

Я понимаю, почему сейчас я получаю неверный ответ - строчка gdf.loc[gdf['electors'].idxmax()].to_list() возвращает штат с наибольшим количеством избирателей. Мне же необходимо найти сумму всех избирателей в тех штатах, в которых победил кандидат, но я не понимаю, как сделать это используя Pandas

import pandas as pd
def winner_votes(df):
    gdf = df.groupby(df.iloc[:,2:].idxmax(axis=1)).sum()['electors'].reset_index()
    return gdf.loc[gdf['electors'].idxmax()].to_list()

df_in = pd.DataFrame([['Winterfell', 3, 0.6, 0.3, 0.1],
 ['Riverrun', 5, 0.3, 0.2, 0.5],
 ['Vaes Dothrak', 2, 0.2, 0.5, 0.5]], columns=['state', 'electors', 
                                               'Arya Stark', 
                                               'Tyrion Lannister', 
                                               'Deineris Targarien'])

print(winner_votes(df_in))
# expected - ["Deineris Targarien", 7]
# got - ['Deineris Targarien', 5]

[o5a]

Rudolf Nemov, потому что в последнем ряду неоднозначные данные
['Vaes Dothrak', 2, 0.2, 0.5, 0.5]

idxmax берет первый максимальный результат, а т.к. оба равны, то победитель здесь Тирион