Python cоздание переменной с значением генерируемой переменной?

Question

[Aionclassic]

Пытаюсь написать код который будет пересекать определенные колонки разных xlsx файлах и выводить одинаковые значения из колонок.
Алгоритм программы:
1.Читаем папку, получаем путь ко всем xlsx файлам
2. Генерируем переменные:
a) переменные df1 ... dfN (фреймы Pandas) создаются в количестве найденных xlsx файлов, в каждую отдельно заливается найденный xlsx файл.
б) переменные set_data_df1 .... N из переменой df1....N ДОЛЖНА создавать уникальный список внутри определенного столбца целью его последующего пересечения (set_data_df1 & set_data_df2 & .... N)
Проблема заключается не могу понять как создать правильно переменные Б?

list_file = []
data_directory = '111'
for root, dirs, files in os.walk(data_directory):
    for filename in files:
        list_file.append(os.path.join(root, filename))

ii=0
for i in list_file:
    ii += 1
    globals()[f'df{ii}'] = pd.read_excel(i) #РАБОТАЕТ
    globals()[f'set_data_df{ii}'] = f'set(df{ii}[name_column].tolist()) #НЕ РАБОАТАЕТ

Помогите подправить код "=f'set(df{ii}[name_column].tolist())". Спасибо.

Comments

[Модератор]

Не надо ставить как можно больше тэгов. Лучше оставить один, но конкретный, с которым проблема.
См.п.3.1 Регламента. Также обратите внимание на п.3.4

Answer 1

[Aionclassic]

Всем спасибо, проблема решена путем в конвертации значения переменой из str в class object.
P.S. tolist() там не нужен, set() после конвертации

Answer 2

[Максим Припадчев]

Ну если ты только изучаешь python, зачем тебе pandas. Код не надо править его нужно выкидывать.

a) Ты хочешь прочитать каждый xlsx файл в отдельный фрейм, это нормально. Создаешь пустой список и складываешь в него фреймы.

dfs = []
for filename in fileanmes:
    df = pd.read_excel(filename)
    dfs.append(df)

где filenames твои пути для xlsx файлов.

б) Задача не ясна. На сколько я понял у этих файлов разные имена колонок и надо выбрать общий для всех набор.

from functools import reduce
import numpy as np

df1 = pd.DataFrame({
    'A':[1],
    'B':[2]
})

df2 = pd.DataFrame({
    'A':[1],
    'C':[2]
})

df3 = pd.DataFrame({
    'A':[1],
    'D':[2]
})

dfs_column_names = [df1.columns, df2.columns, df3.columns]
print(reduce(np.intersect1d, dfs_column_names))

Вот так ты можешь найти общие колонки у любого количества фреймов.
Естественно тебе не нужно хардкодить список с колонками прям в первом цикле заноси не только фрейм в список, но и в другой список заноси его колонки потом вне списка сохрани общий набор колонок как я привел в примере.

Ну и я так понимаю в дальнейшем ты собираешься выбрать по уникальным для всех фреймов колонкам и собрать все в единый фрейм. pd.concat(dfs). Где dfs это список фреймов, с едиными колонками. То есть предварительно, ты как я показал нашел common_columns. и затеам dfs=[df[common_columns] for df in dfs]. И затем конкатенируешь.

Comments

[Aionclassic]

По задачи б) поясню детальнее, мне нужно уникальные значения столбца А фрейма 1, пересечь с уникальными значения столбца А фрейма 2, и так далее в зависимости сколько создано фреймов. Я пока мало знаком с Pandas и не знаю можно ли это реализовать внутри самого Pandas. Поэтому думал пойти по простому решению залить файлы в фреймы, из столбца фреймов сделать списки , дальше значения в эти списках через set() сделать уникальными и на последнем этапе пересечь все списки что бы выявить значение которое встречается во всех списках. Как Вы написали задача а) работает, генерируется переменная df1=pd.read_excel('111\\test_exel_3.xlsx') , а вот сгенерировать вторую переменную set_data_df1 = в значении которой будет вставляется генерируемое имя из первой переменной [f'df{ii}'] не получается. На основании первой переменой должна создаться вторая переменная вида set_data_df1=df1[name_column]

[Максим Припадчев]

Aionclassic, Да можно, в pandas вообще можно все. Что понимается по пересечением? Вернуть массив общих значений, то есть операция между наборами или нужно осуществить слияние фреймов джойны, или нужно осуществить выборку какую то. В pandas можно все не проблема ничего из вышеперечисленного.

[Aionclassic]

Максим Припадчев, нужно вернуть выборку, ну например какие одинаковые номера автомобилей(или телефонов) присутствовали во всех фреймах. пример: только номера ххххх, yyyyyy были во всех фреймах

[Максим Припадчев]

Aionclassic, Ну собери их все в один фрейм, Например. Может быть там дата есть, и потом просто по дате сравнивать, или multiindex сделай, например.

df1 = pd.DataFrame({
    'A':[1,2],
    'B':[2,3]
})

df2 = pd.DataFrame({
    'A':[2,2],
    'B':[2,3]
})

df3 = pd.DataFrame({
    'A':[1,1],
    'B':[2,2]
})

dfs = [df1, df2, df3]
pd.concat(dfs,keys=['first', 'second','third'])

Дальше почитай доки ты можешь делать выборки по любому уровню. На самом деле много способов решения. Если хочешь более конкретной помощи. Сделай 3 маленьких фрейма, как у меня в примере мне нужно вот из этих фреймов получить вот такой выхлоп. И сделай фрейм или series или массив что ты хочешь получить. А так мне сложно гадать, была конкретика есть вот это нужно получить вот то. И на конкретных маленьких фреймах. 3 фрейма или 3000 их потом будет это не важно. Принцип.