Как написать функцию попарного сравнения столбцов?

Question

[arseny_sitdikov]

Необходимо написать функцию попарного сравнения столбцов. (Столбцов 1000+)
Т.е значения одной строки сравниваются в двух столбцах и если доля одинаковых значений превышает X, то необходимо удалить один из сравниваемых столбцов.

Все столбцы числовые, с NaN'ами
Необходимо строгое сравнение. Не корреляция

Pandas.Duplicate ищет точное совпадение, поэтому нужен другой костыль‍♂️

Comments

[longclaps]

значения одной строки сравниваются в двух столбцах

переведи

[arseny_sitdikov]

longclaps, допустим есть массив с опросом
Каждая строка это человек для него есть множество признаков(ответ на вопрос).
Для каждого человека нужно попарно сравнить два столбца. Пример
columns:( "есть собака" ,"есть недосып")
( 1, 0)
(1,1)
(1,1)
Нужно посчитать количество строк у которых значения в этих столбцах одинаковы. И рассчитать для каждой пары процент совпадений. Если он будет выше определенного значения, то дропаем один из столбцов.

[longclaps]

arseny_sitdikov, а как ты намерен обходиться с тем, что
(nan == nan) == False

[arseny_sitdikov]

longclaps, заменить nan на "nan"

[longclaps]

Все столбцы числовые, с NaN'ами
заменить nan на "nan"

arseny_sitdikov, ясно. Хорошее решение - разрушить однотипность данных ) Заменяй уж лучше на какой-нибудь math.inf, если у тебя флоаты, или какое-нибудь спецальное бессмысленное целое, если целочисленные.

Создай доп столбец, заполни его вычислением столбец1==столбец2, подсчитай долю True в нём - вроде нет проблем