Как сравнить столбцы по 'id' и 'Цена' двух разных DataFrame в Pandas?

Question

[Shamil]

Имеются два csv (для наглядности пример без csv) файла разных размеров, но с уникальными номерами в столбцах , я хочу сравнить в pandas два столбца с поиском по id строки и сравнением цены в первом df1 и df2, и если цены не совпадают добавить новую колонку(цену) 'Цена 2' в df1. И соответственно если id из df2 нет df1, добавить полностью строку с этим id из df2 в df1

import pandas as pd
df1=pd.DataFrame(data=[[39000, 'Санкт-Петербург', '5 мая 02:08', 123545],
[38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
[25000, 'Новосибирск', '4 мая 17:29', 4577441],
[47990, 'Москва', '4 мая 14:04', 1245366]],
columns=['Цена', 'Город', 'Дата', 'id'])
df2=pd.DataFrame(data=[[20000, 'Красноярск', '1 мая 10:01', 953314],
[38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
[25000, 'Новосибирск', '4 мая 17:29', 4577441],
[10000, 'Санкт-Петербург', '5 мая 02:08', 123545],
[43990, 'Москва', '4 мая 14:04', 1245366],
[52000, 'Омск', '3 мая 14:10', 543642]],
columns=['Цена', 'Город', 'Дата', 'id'])

for i in len(df2['id']):
    if df2['id'].unique()[1] in df1['id'].unique(): #Проверка наличия id
        if ((df1.query(f'id==i'))['Цена']) == ((df2.query(f'id==i'))['Цена']):
#Хочу сравнить цены, но не работает

Может есть команда которая выдаст номер индекса элемента? чтобы можно было обратиться к значению столбца по индексу?

Answer 1

[zexer]

df3 = df1.merge(df2[['id', 'Цена']], how='outer', on='id')
idx = np.where(df3['Цена_x']==df3['Цена_y'],True, False)
df3.loc[idx, 'Цена_y'] = np.nan
df3

Это решит вашу проблему?

Comments

[Shamil]

Подтянулись в df3 только 'id' и "Цена_y' , а как чтобы еще вместо NaN города, даты, подтянулись их значения?

[zexer]

Shamil, может быть так?

df3 = df1.merge(df2, how='outer', on='id', suffixes=('_df1', '_df2'))
idx = np.where(df3['Цена_df1'] == df3['Цена_df2'], True, False)
df3.loc[idx, 'Цена_df2'] = np.nan
df3

[Shamil]

Почти, только дополнил еще. Но есть ли способ облегчить код начиная с idx1=df3.Город_df1.isna() ?

import pandas as pd
import numpy as np
df1=pd.DataFrame(data=[[39000, 'Санкт-Петербург', '5 мая 02:08', 123545],
[38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
[25000, 'Новосибирск', '4 мая 17:29', 4577441],
[47990, 'Москва', '4 мая 14:04', 1245366]],
columns=['Цена', 'Город', 'Дата', 'id'])
df2=pd.DataFrame(data=[[20000, 'Красноярск', '1 мая 10:01', 953314],
[38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
[25000, 'Новосибирск', '4 мая 17:29', 4577441],
[10000, 'Санкт-Петербург', '5 мая 02:08', 123545],
[43990, 'Москва', '4 мая 14:04', 1245366],
[52000, 'Омск', '3 мая 14:10', 543642]],
columns=['Цена', 'Город', 'Дата', 'id'])
df3 = df1.merge(df2, how='outer', on='id', suffixes=('_df1', '_df2'))
idx = np.where(df3['Цена_df1'] == df3['Цена_df2'], True, False)
df3.loc[idx, 'Цена_df2'] = np.nan
idx1=df3.Город_df1.isna()
idx2=df3.Дата_df1.isna()
for i in range(len(df3)): #Перенос Города и Даты в столбцы с df1 в df3 должна остаться только новая цена
    if idx1[i] == True:
        df3.loc[i,'Город_df1'] = df3.loc[i, 'Город_df2']
    if idx2 [i] == True:
        df3.loc[i, 'Дата_df1'] = df3.loc[i, 'Дата_df2']
df3.drop(['Город_df2','Дата_df2'], axis='columns', inplace=True) #удаляем не нужные столбцы

[zexer]

Shamil, можно сделать следующее.

import pandas as pd
import numpy as np

df1=pd.DataFrame(data=[[39000, 'Санкт-Петербург', '5 мая 02:08', 123545],
                       [38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
                       [25000, 'Новосибирск', '4 мая 17:29', 4577441],
                       [47990, 'Москва', '4 мая 14:04', 1245366]],
                       columns=['Цена', 'Город', 'Дата', 'id'])
df2=pd.DataFrame(data=[[20000, 'Красноярск', '1 мая 10:01', 953314],
                       [38990, 'Санкт-Петербург', '4 мая 15:54', 9999991],
                       [25000, 'Новосибирск', '4 мая 17:29', 4577441],
                       [10000, 'Санкт-Петербург', '5 мая 02:08', 123545],
                       [43990, 'Москва', '4 мая 14:04', 1245366],
                       [52000, 'Омск', '3 мая 14:10', 543642]],
                       columns=['Цена', 'Город', 'Дата', 'id'])

df3 = df1.merge(df2, how='outer', on='id', suffixes=('_df1', '_df2'))

idx = np.where(df3['Цена_df1'] == df3['Цена_df2'], True, False)

df3.loc[idx, 'Цена_df2'] = np.nan

idx1 = df3['Город_df1'].isna()

# Почему-то через df3.loc[idx1, ['Город_df1', 'Дата_df1']] = df3.loc[idx1, ['Город_df2', 'Дата_df2']] 
df3.loc[idx1, 'Город_df1'] = df3.loc[idx1, 'Город_df2']
df3.loc[idx1, 'Дата_df1'] = df3.loc[idx1, 'Дата_df2']
df3.drop(['Город_df2','Дата_df2'], axis='columns', inplace=True) #удаляем не нужные столбцы
df3

[zexer]

zexer, разобрался.

df3.loc[idx1, ['Город_df1', 'Дата_df1']] = df3.loc[idx1, ['Город_df2', 'Дата_df2']]

Данный вариант не работает, так как пандас ищет имена 'Город_df2' и 'Дата_df2' в первом срезе, а так как их там банально нет, то ничего не происходит.

В этом можно убедиться, если сделать так:

df3.loc[idx1, ['Город_df1', 'Дата_df1']] =  df3.loc[idx1, ['Город_df2', 'Дата_df2']].rename(columns={'Город_df2':'Город_df1', 'Дата_df2':'Дата_df1'})

Назначив в правый срез имена как в первом, пандас найдет их в первом и подменит.

df3.loc[idx1, 'Город_df1'] = df3.loc[idx1, 'Город_df2']
df3.loc[idx1, 'Дата_df1'] = df3.loc[idx1, 'Дата_df2']

Данный вариант работает, потому что df3.loc[idx1, 'Город_df2'] это уже серия, которая не имеет индекса столбца (названия), поэтому пандас соединяет эти срезы только по индексу строк, которые совпадают в обоих срезах.