Операции с pandas. Python. Есть ли возможность использовать массив индексов?

Question

[Алексей]

Есть два объекта DataFrame, в первом из них содержатся списки индексов строк другого. Как я могу без организации цикла For выбирать нужные строки за раз из второго объекта? В методе .loc не получается, выдаётся ошибка: Value Error: Cannot index with multidimensional key. Через цикл for вычисления 400000 строк растягиваются на 30 минут...

res_dat = []
for h in range(len(resultD)):
    res_dat.append(list((myteam.loc[resultD.iloc[h,:-1]])[['Name1', 'Name2', 'Name3', 'Name4']].sum()))
resultS = pd.DataFrame(res_dat)

Comments

[Viktor T2]

преобразовать списки индексов в list или словарь
что-то вроде такого
address_list = df_address.values.tolist() # таблицу смещений в список

Answer 1

[dmshar]

Мы конечно тут все немножко экстрасенсы и умеем не видя кода понимать, что и как вы делаете. Поэтому мы можем угадать, что вот такой конструкции у вас там нет
df.loc[df.index.isin(['one','two'])]
хотя по логике вещей должна быть.

Comments

[Алексей]

извиняюсь, думал в описании всё объяснил. Добавил код.

Answer 2

[o5a]

С примером Вашего кода было бы понятнее, но вообще это можно сделать так:
df.loc[dfi['index']]
df - DF с данными
dfi - DF с индексами в колонке 'index'

Answer 3

[Алексей]

добавил свой код

Comments

[o5a]

myteam.loc[resultD['название_колонки_с_индексом']][['Name1', 'Name2', 'Name3', 'Name4']].sum()
# если хочется все же по порядковому номеру колонки, то можно и через iloc
myteam.loc[resultD.iloc[:, индекс_колонки]][['Name1', 'Name2', 'Name3', 'Name4']].sum()

[Алексей]

o5a, но у меня ведь так и есть:

myteam.loc[resultD.iloc[h,:-1]])[['Name1', 'Name2', 'Name3', 'Name4']].sum()

срез : -1 указывает на колонки с индексами,
если вместо h (итератор цикла) подставить срез : , что означает выбор всех строк в объекте, тогда появляется ошибка: Value Error: Cannot index with multidimensional key.
Я где-то прочитал, что в пандас отключили поддержку многомерных массивов индексов... Это правда?

[o5a]

Алексей,

но у меня ведь так и есть:

Нет, не так. У Вас идет итерация по рядам, а я пишу, как выбрать сразу все записи средствами pandas.

срез : -1 указывает на колонки с индексами,Почему "колонки"? А не "колонка".
Что у Вас тогда в реальности за структура данных, приведите кусок.
По описанию задачи выглядело так, что есть полный DF с данными, и есть другой DF, в котором подряд идут индексы, по которым надо выбрать строки из первого. Почему тогда у вас этих колонок несколько, а не одна, как вы это себе представляете?

[Алексей]

o5a, в каждой колонке индекс определённой строки из первого, кроме последней.
Первый датафрейм:


Второй:

[o5a]

Алексей, И как они должны соответствовать, тут некоторые строки повторяются, некоторые разные?
Просто из всех колонок взять все уникальные индексы?

[Алексей]

они все разные. Это работа функции combinations

[o5a]

Тогда так (вынес индексы отдельно, чтобы не громоздить одну строку)

indexes = pd.unique(resultD.iloc[:, :-1].values.flatten())
myteam.loc[indexes][['Name1', 'Name2', 'Name3', 'Name4']].sum()

Или нужно для каждой строки resultD показывать отдельную выборку?

[o5a]

Алексей, судя по изначальному примеру, нужно для каждой строки индексов рассчитать итоговую строку значений. Тогда так, должно быть быстрее перебора строк

def get_vals(row):
	return myteam.loc[row[:-1]][['Name1', 'Name2', 'Name3', 'Name4']].sum()

resultS = resultD.apply(get_vals, axis=1)

[Алексей]

o5a, Cпасибо, что уделили время и разжевали тонкости, всё работает. Примерно в 2,5 раза быстрее!