Как заменить только отличные значения с помощью pandas?

Question

[Rett-oo]

Подскажите пожалуйста, как возможно заменить значения dataframe_1 которые отличаются от значений от dataframe_2?

import pandas as pd


dataframe_1 = pd.DataFrame({'col1': [10, 12, 12, 14, 13, 18],
                            'col2': [7, 7, 8, 13, 7, 4],
                            'col3': [11, 8, 10, 6, 6, 5]})

dataframe_2= pd.DataFrame({'col1': [11, 12, 12, 14, 13, 10],
                            'col2': [76, 7, 8, 13, 7, 4],
                            'col3': [11, 8, 8, 6, 6, 5]})

dataframe.compare(dataframe_db, keep_shape=True)

Как при помощи pandas и векторизации заменить значения которые отличаются?
Ранее у меня был скрипт, который проходился циклом по значениям dataframe_1 и dataframe_2 и сравнивал, если значения отличались - заменял. Но думаю это не эффективно и
хочется оптимизировать функцию.

Comments

[Максим Припадчев]

А замена везде одинаковая? Или значений на которые заменяется несколько и они зависят от дополнительных условий?

[Rett-oo]

Максим Припадчев, нужно заменить все значения dataframe_1, которые отличаются от значений dataframe_2. Имеется ввиду, если в dataframe_1, в col1 значение 10, а в dataframe_2, в col1 значение 11 то в dataframe_1 нужно 10 заменить на 11, так сделать для каждого значения для каждого столбца, дополнительных условий нет

Answer 1

[Максим Припадчев]

В общем ждать ответа, на мой комментарий времени нет, если замена всегда одинаковая то вот так.

import pandas as pd
import numpy as np
pd.DataFrame(np.where(dataframe_1 != dataframe_2, 'Ваше значение',dataframe_1), columns = dataframe_1.columns)

если значения которые отличаются нужно выбрать из второго датафрейма то вот так.

import pandas as pd
import numpy as np
pd.DataFrame(np.where(dataframe_1 != dataframe_2, dataframe_2,dataframe_1), columns = dataframe_1.columns)

Comments

[Rett-oo]

Странно, почему то выдаёт исключение Can only compare identically-labeled (both index and columns) DataFrame objects, хотя с compare этого не было. Понял, спасибо за ответ, буду надеется, что код отработает как нужно

[Максим Припадчев]

Rett-oo, Не надо надеяться, надо делать, как положено и он не будет ничего выдавать. В приведенном тобой примере у фреймов одинаковые и индексы и имена колонок, по этому все работает без ошибок. Если на твоих реальных фреймах выдает такую ошибку, значит имена колонок отличаются, или индексы отличаются. Сделай разным индекс или имя хоть одной колонки у приведенных тобой фреймах и все перестанет работать.

А во вторых я не стал в ответе это писать потому что думал может замену надо сделать на какую то другую величину. Но если есть два фрейма и тебе там где они отличаются нужно взять значения из второго фрейма, а зачем вообще тогда сравнение, можно просто брать второй фрейм и все.

[Rett-oo]

Максим Припадчев, забыл скорректировать свой код, пардон :) Все работает отлично. Благодарю. Правда это не совсем то, что мне нужно, но это уже не Ваша забота. Подобное поведение мне нужно что бы далее работал следующий код:

if cell != new_cell:
    cursor.execute(f"""UPDATE {schema}.{tname}
                        SET {column_name}='{new_cell}'
                        WHERE {column_name_db}='{cell}'""")

Заменить только отличающиеся значения нужно для того, что бы триггеры срабатывали корректно