Как записать значения из numpy.ndarray в Dataframe?

Question

[Полина Подкуйко]

Необходимо совместить несколько массивов numpy в Dataframe

Answer 1

[PavelMos]

Совмещать можно несколькими способами - по "горизонтали", по "вертикали", подробнее pandas dataframe merge, concat. Есть еще join но скорей всего тут merge, concat или просто append - добавление строк в конец.

Comments

[Полина Подкуйко]

Я пытаюсь добавить таким образом
df = pd.DataFrame (np.concatenate (pred_prob, pred, y_test), axis = 1)
возникает ошибка
TypeError: only integer scalar arrays can be converted to a scalar index
Возможно проблема в размерности матриц.
я не знаю как их преобразовать, чтобы совместить

pred_prob matrix 20 ,5
pred, y_test - 20,

[PavelMos]

Полина Подкуйко, пример первого и второго массива можно ?
pandas может совмещать массивы с разными размерами, другой вопрос что получится в итоге.

[Полина Подкуйко]

[… [0,17250077 0,17303202 0,17306072 0,30882448 0,17258205]
[0,14553823 0,14860761 0,39314887 0,16709846 0,1456068]]

[2 3 4 1 1 1 3 3 2 4 1 2 4 0 3 4 2 2 3 1]

[2 3 4 1 1 1 3 3 4 4 1 2 4 0 3 4 4 2 3 1]

[Полина Подкуйко]

вероятности, прогнозируемые и реальные значения

[PavelMos]

Полина Подкуйко,
первый это двумерный массив 20 строк по 5 элементов, второй и третий одномерный по 20 элементов, нужно 2 и 3 прилепить к первому в двух качестве столбцов ?

[Полина Подкуйко]

да, все верно.
напротив последних вероятностей должны получится значения 3 3, 1 1

[PavelMos]

Полина Подкуйко, значит нужен concat, можно прямо из примера брать
https://pandas.pydata.org/pandas-docs/stable/user_...

1. двумерный массив в dataframe, через numpy или df1=pandas.Dataframe.from_records(array1)
2. одномерный массив, т.е. список, через

df2=pandas.Dataframe.from_records({'y1_test':array2'}/

и так же со вторым списком реальных значений, только с другим названием колонки, например, y2_test Если просто from_records, то будет датафрейм из одной строки по 20 столбцов, а нужно 1 столбец на 20 строк.

Итого df1 - 5 колонок, 20 строк, df2 и df2 по 1 колонке, 20 строк.

Совмещение:

result=pandas.concat([df1,df2,df3], axis=1, sort=False)

потом по желанию поменять порядок колонок, или сделать из реальных значений float как в тестовых

df4=pandas.concat((df1, df2,df3), axis=1, sort=False)
df4
Out[329]: 
           0         1         2         3         4   n1  0
0   0.145538  0.148608  0.393149  0.167098  0.145607  2.0  2
1   0.145538  0.148608  0.393149  0.167098  0.145607  3.0  3
2   0.145538  0.148608  0.393149  0.167098  0.145607  4.0  4
3   0.145538  0.148608  0.393149  0.167098  0.145607  1.0  1
4   0.145538  0.148608  0.393149  0.167098  0.145607  1.0  1
5   0.145538  0.148608  0.393149  0.167098  0.145607  1.0  1
6   0.145538  0.148608  0.393149  0.167098  0.145607  3.0  3
7   0.145538  0.148608  0.393149  0.167098  0.145607  3.0  3
8   0.145538  0.148608  0.393149  0.167098  0.145607  2.0  4
9   0.145538  0.148608  0.393149  0.167098  0.145607  4.0  4
10  0.145538  0.148608  0.393149  0.167098  0.145607  1.0  1
11  0.145538  0.148608  0.393149  0.167098  0.145607  2.0  2
12  0.145538  0.148608  0.393149  0.167098  0.145607  4.0  4
13  0.145538  0.148608  0.393149  0.167098  0.145607  0.0  0
14  0.145538  0.148608  0.393149  0.167098  0.145607  3.0  3
15  0.145538  0.148608  0.393149  0.167098  0.145607  4.0  4
16  0.145538  0.148608  0.393149  0.167098  0.145607  2.0  4
17  0.145538  0.148608  0.393149  0.167098  0.145607  2.0  2
18  0.145538  0.148608  0.393149  0.167098  0.145607  3.0  3
19  0.145538  0.148608  0.393149  0.167098  0.145607  1.0  1

конструкция

df = pd.DataFrame(np.concatenate (pred_prob, pred, y_test), axis = 1)

что делает ? Pandas создаёт датафрейм какой-то функцией, которая входит в класс DataFrame и вызывается после нее pd.DataFrame.from_xxx , т.е. from_excel, from_records.

[Полина Подкуйко]

PavelMos, спасибо, получилось. Теперь я хочу добавить набор x_train из 20 строк и 9 столбцов (pandas.core.frame.DataFrame) к этим же данным. Дублируются индексы

[PavelMos]

Подробнее ? По идее, если добавляются колонки с таким же число строк, наоборот, нужно, чтобы индексы были одинаковыми. Тут есть, правда, на инглише, примеры что будет происходить с индексами, которые отсутствуют в одной или нескольких соединяемых таблицах:
https://pandas.pydata.org/pandas-docs/stable/user_...


Можно наверное попробовать ignore_index=True добавить. Но проблем с вновь созданными двумерными массивами быть не должно, вроде

df10=pandas.DataFrame.from_records(np.random.randint(0,100,size=(20, 9)), columns=['n1','n2','n3','n4','n5','n6','n7','n8','n9'])
df10
Out[362]: 
    n1  n2  n3  n4  n5  n6  n7  n8  n9
0   51  88  34  25  44  94  72  82  76
1   61   9  15  71  49  53  32  84  55
2   84  70  90  84   8   6   7   6  59
3    7  38  21  43  23  85  31  38  48
4   33  99  84  42  20  70  99  52  97
5   63  27  23  48   0  24  25  67  62
6    3  60   7  38  66  55  84  68  92
7   71  66   3  96  28  79  57  10  91
8    4  83  64  46  56  46  61  68  23
9   87  14  85  25  72  66  16  48  74
10  67  38  36  79  68  13  60  15   6
11  63  62  65  28  69  79  39  80  25
12  44  10  44  55  30  53  85  98  35
13  72  30   5  82  84  98  44  97  33
14  30  53  35  83   9  79  24  64  36
15  91  88  82  86  92   4  18  61  47
16  31  29  84   3  18  70  51  94  63
17  64  43  19  26  49  86   6  47  70
18  27  91  23  51  96  32  86  79  89
19  43  68  88  96  80  59  49  31  55
df15=pandas.concat([df4,df10], axis=1)
df15
Out[364]: 
           0         1         2         3         4  ...  n5  n6  n7  n8  n9
0   0.145538  0.148608  0.393149  0.167098  0.145607  ...  44  94  72  82  76
1   0.145538  0.148608  0.393149  0.167098  0.145607  ...  49  53  32  84  55
2   0.145538  0.148608  0.393149  0.167098  0.145607  ...   8   6   7   6  59
3   0.145538  0.148608  0.393149  0.167098  0.145607  ...  23  85  31  38  48
4   0.145538  0.148608  0.393149  0.167098  0.145607  ...  20  70  99  52  97
5   0.145538  0.148608  0.393149  0.167098  0.145607  ...   0  24  25  67  62
6   0.145538  0.148608  0.393149  0.167098  0.145607  ...  66  55  84  68  92
7   0.145538  0.148608  0.393149  0.167098  0.145607  ...  28  79  57  10  91
8   0.145538  0.148608  0.393149  0.167098  0.145607  ...  56  46  61  68  23
9   0.145538  0.148608  0.393149  0.167098  0.145607  ...  72  66  16  48  74
10  0.145538  0.148608  0.393149  0.167098  0.145607  ...  68  13  60  15   6
11  0.145538  0.148608  0.393149  0.167098  0.145607  ...  69  79  39  80  25
12  0.145538  0.148608  0.393149  0.167098  0.145607  ...  30  53  85  98  35
13  0.145538  0.148608  0.393149  0.167098  0.145607  ...  84  98  44  97  33
14  0.145538  0.148608  0.393149  0.167098  0.145607  ...   9  79  24  64  36
15  0.145538  0.148608  0.393149  0.167098  0.145607  ...  92   4  18  61  47
16  0.145538  0.148608  0.393149  0.167098  0.145607  ...  18  70  51  94  63
17  0.145538  0.148608  0.393149  0.167098  0.145607  ...  49  86   6  47  70
18  0.145538  0.148608  0.393149  0.167098  0.145607  ...  96  32  86  79  89
19  0.145538  0.148608  0.393149  0.167098  0.145607  ...  80  59  49  31  55
[20 rows x 16 columns]