Матрица. Как правильно подать данные для обучения нейронной сети?

Question

[Дмитрий]

Есть данные для обучения нейронной сети. Для человека - это наборы из линейных графиков по 4 штуки. Т.е. в экселе эти данные можно нарисовать как матрица 100х4. Как правильно подать эти данные для обучения нейронной сети? Есть какие-то способы подачи данных в виде матрицы или можно просто объединить их в вектор 400х1 и сеть сама разберётся что к чему?

Answer 1

[Дмитрий]

Для keras при обучении LSTM, RNN или свёрточных сетей такие данные нужно подавать в виде тензора, т.е. делать матрицу трёхмерной или больше. Любую двухмерную матрицу M(Х, Y) можно представить как трёхмерную M(X, Y, Z), где Z=1.
Делается это с помощью reshape - изменяется размерность массива при сохранении данных.
M =np.reshape(M, (X, Y, Z)) или M =np.reshape(M, (X, Z, Y))
В моём же случае если Х количество обучающих выборок, то графики в эксельку сохраняем как матрицу М(Х, 400), а потом после загрузки данных делаем M =np.reshape(M, (X, 4, 100)).
В итоге получается Х наборов двухмерных матриц 4х100.
В принципе, для загрузки в питон, в файл можно сохранить все данные в одну строчку, а потом с помощью reshape нарезать их в нужный формат (2d, 3d, 4d и т.д.).

Answer 2

[Ярослав Оглоблин]

Зависит от того что у вас является объектом. Судя по вашему описанию, каждая строчка, это 4 разных параметра одного объекта. И их ну никак нельзя в один вектор пихать.
А в каком виде подавать, это очень расплывчатое понятие. Для начала определитесь с нейронной сетью. С тем, с помощью каких библиотек вы будете с ней работать, а оттуда уже форма подачи информации сама выплывет.

Comments

[Дмитрий]

Я в тэги вроде keras добавлял, но что-то он не показался.
Сеть будет классической для начинающих - Keras+TF.
В один вектор подразумевалось не просто так, а с нормализацией запихивать. Или нужно что-то ещё?

[Ярослав Оглоблин]

Вы дали очень мало информации о структуре данных.
Непонятно что это за графики, что означают эти строчки.
Вообще, хорошо для начала почитать основы ML, чтобы понять что есть что.

[Дмитрий]

savao, 4 графика - это 4 параметра. Один график - это данные одного параметра за промежуток времени t. Данные по времени на всех графиках синхронизированы и нормализованы к диапазону 0-1. На входе графики, на выходе сеть должна классифицировать хорошо/плохо/непонятно.
Честно говоря, я даже не знаю как можно подробнее описать.

[Ярослав Оглоблин]

FerroPanda, вы этого изначально не написали же.
Ну значит действительно это четыре параметра одно объекта - момента времени. И их надо вводить как 4 параметра, а не как 4 разных значения одного параметра (т.е. в матрицу с размерностью 400х1 преобразовывать нельзя). Но ещё надо же обучающая выборка, для которой метки классов (хорошо/плохо/непонятно) проставлены.
Соответственно на обучающей выборке обучить сеть (в том числе и протестировать её точность), а потом уже на неразмеченных данных делать предсказания.
Как ввести данные, посмотрите документацию к той библиотеке, которой будете пользоваться.

[Дмитрий]

savao,

Как ввести данные, посмотрите документацию к той библиотеке, которой будете пользоваться.

Так в этом вопрос и состоит.
Я так понимаю, в MLP такое не получится. Значит остаётся RNN и аналоги. Подозреваю, что в подходящих вариантах использование подобных данных делается примерно одинаково. Вопрос - как? Рассчитывал получить ответ на русском человеческом, а не английском научном. Ну и слабая надежда была на пример в коде.
Но похоже всё плохо.