Как вычесть значения одного датафрейма из другого с условиями?

Question

[Andrew_Novikov]

У меня есть два датафрейма. Условно df3 и df4 (на изображениях)

Я хочу создать новый столбец и посчитать разницу значений столбца "Distance":
df3['Delta'] = df3['distance'] - df4['distance']

Проблема в том, что данные идут в разнобой и отсортировать их приведя к одному виду не получается.
Отсюда вопрос, можно ли написать цикл, который бы проверял кажую строку и при условии равенства имени, даты и номера раунда производил вычисление.

Comments

[mayton2019]

Судя по терминологии это Spark?

[Andrew_Novikov]

mayton2019, нет , это данные вытащенные из SQL и обработанные Pandas

[Василий]

можно ли?
Можно.

for строка1 в таблице1:
    for строка2 в таблице2:
        если строка1 == строка 2:
            вычислить()
            break

[mayton2019]

Andrew_Novikov, хм... мог-бы это и в SQL обработать. Но видимо ты - любитель трудиться.

Вот тут ты фактически сам описал алгоритм решения.

Проблема в том, что данные идут в разнобой и отсортировать их приведя к одному виду не получается.
Отсюда вопрос, можно ли написать цикл, который бы проверял кажую строку и при условии равенства имени, даты и номера раунда производил вычисление.

Я думаю что правильно. Бери свою панду и лупи ее кодом.

[Алан Гибизов]

mayton2019, данные могут быть в разных источниках; возможно, нет технической возможности делать запросы такого рода ни на одном из источников, например по причинам ИБ.
Не надо излишнего сарказма.
Впрочем, по сути вы правы - sql это вполне мог бы попешать.

Что касается задач, которые поставлены в вопросе, надо бы уточнить:
Надо ли это всё делать разово? Пару-тройку раз? Регулярно? Регулярно с разными источниками? С разными условиями?

[Andrew_Novikov]

Алан Гибизов, действия по вычитанию элементов из 2-х таблиц будут регулярными, но с разными условими. Пока что, мне нужно понять принцип работы с элементами в Pandas. Я понимаю, что Pandas в основном работает через Серии, а не конкретные элементы, и есть функции (методы) по типу .mask ( ), query( ) и т.д. Но и с ними пока ничего путного не написал, так как они (как я понял) возвращают выборку значений... Вот и решил обратиться к коллективному разуму)))

[Andrew_Novikov]

Алан Гибизов, Пока что самое путное, что пришло в голову, это пропаботать запрос в SQL, чтобы он возвращал значения в df4 в соответствии с порядком в df3. Но это не панацея, так как и дальше мне придется работать с конкретными элементами из таблицы.

[Алан Гибизов]

Andrew_Novikov, Knime не рассматривали? Для всяких аналитик на скорую руку штука беспрецедентно быстрая. Кроме того, туда можно вставлять блоки на js, python, java и т.п.
Недостаток его - он не для продакшена, это такое «набросать, проверить и потом быстренько переделать».
Кстати, с точки зрения python от Knime там приходят чистые pandas датафреймы.

[Andrew_Novikov]

Алан Гибизов, нет, еще не смотрел. Спасибо, гляну)))

[Алан Гибизов]

Andrew_Novikov, если что - в телеге есть чат по knime, отвечают довольно внятно и относительно оперативно.

[PavelMos]

Andrew_Novikov, через серии в том смысле, что выражение for x in df будет перебирать столбцы (серии). А так-то перебирать можно что угодно.

[Viktor T2]

Есть же merge - Объединение/слияние в стиле базы данных.

result = pd.merge(df3, df4, how="outer", on=["Date", "Fighter", "Round"])

https://pandas.pydata.org/docs/user_guide/merging.html

Сперва делаем merge, потом вычитание, как-то так

Answer 1

[Andrew_Novikov]

Придумал, как это сделать. Написан в виде черновика, но проверил - работает. Все строится воокург функции pd.query( ). Создаем цикл, вытаскиваем нужные данные по индеку. Подставляем их в функцию pd.query( ). Она выдает нам индекс подходящей строки. А дальше уже полученный идекс подставляем в наши расчеты. Т.е. как то так:
start = 0
for i in df3['Opponent']:
j = df3['Date'][start]
k = df3['Round'][start]
index = df4.query('Fighter =="'+f'{i}'+'" & Date == "' + f'{j}' + '" & Round == "' + f'{k}' + '"').index.tolist()
df3['Delta'][start] = df3['Distance'][start] - df4['Distance'][index[0]]
start +=1