Как персертрон работает с векторными данными?

Question

[Евгений Лернер]

Здравствуйте! Берём кусок временного ряда и разлагаем его в базисе Уолша. Получаем 32 коэффициента функций Уолша. Те входные данные двумерные ( номер функции, коэффициент ) надо их засунуть в перцептрон, скажем пятислойный. Как он должен выглядеть?
Или сделать входные данные как один 32 мерный вектор. Как тогда будет выглядеть сеть? Выход один, число нейронов во всех слоях одинакова. Какова должна быть архитектура сети?

Answer 1

[Александр Скуснов]

5 слоёв это... как бы и есть 5 слоёв. В каждом слое выбираете желаемое количество нейронов. В последнем слое количество нейронов равно количеству выходов (вы их не описали). В классическом перцептроне функция активации это сдвинутая функция sign (крайне не рекомендуется использовать, т.к. всегда градиент 0). Так что для каждого слоя подберите другие функции активации. А входов 32 (это не нейроны, а именно входы. Можете считать это 32-мерным вектором).

Comments

[Евгений Лернер]

Классический это розенблата . Многослойный перцептрон Румельхарта годится. Но как должна выглядеть сеть я не понимаю. Выход один, а сколько входов и как их организовать? Если 32:входа, сколько нейронов в каждом? Как они должны связываться со вторым слоем? Втройс третьим и тд

[mayton2019]

Александр Скуснов человек спрашивает как раз про то что нет общих рекомендаций к выбору количества скрытых нейронов в слоях. Мы знаем сколько надо входов и сколько выходов (это ТЗ). А внутренняя структура сети как мне кажется подбирается экспериментально.

[Александр Скуснов]

В каждом слое любое количество нейронов: хотите один, хотите 100.
Каждый нейрон считает взвешенную сумму входов (плюс смещение), затем к результату применяет функцию активации. Выходы нейронов одного слоя идут на входы другого.
Неужели не знаете основ?

[Евгений Лернер]

Александр Скуснов, это общеизвестно. Какая должна быть архитектура сети?

[Евгений Лернер]

mayton2019, сколько выходов известно. Число нейронов во внутренних слоях такое же как в первом слое. Сколько должно быть нейронов в первом слое? Как подавать входной сигнал?

[Александр Скуснов]

Евгений Лернер, Какой ответ вы хотите получить? Есть общий принцип: несколько слоёв, для каждого слоя одинаковая функция активации. Количество нейронов в каждом слое неизвестно. Постарайтесь более чётко формулировать желания.

[mayton2019]

Евгений Лернер, создав техническое заданее с Персептроном ты себя немножко ограничил. Персептрон архитектурно не работает c непрерывными величинами. Следовательно твои 32 коэффициента Уолша будут порезаны входным S-элементом.

Я-бы предложил просто отказаться от задания с персептроном и работать с общей нейронной сетью. Это развяжет нам руки хотя-бы в обсуждении.

[Евгений Лернер]

mayton2019, что такое общая нейронная сеть? Пеьресптр руменхальта прекрасно подходит, там дифференцируема я функция активации. Ноя не настаиваю на нем.
Нужна любая нейронная сеть которая предсказывала бы значение сигнала на основе его разложения в ортогональные функции. Хочу сравнить эффективность lstm

[Евгений Лернер]

Александр Скуснов, общие принципы я знаю. Стараюсь вопрос формулировать четко. Есть 32 мерный вектор, это коэффициенты разложения по уолшу предыдущих 32:значений сигнала. Сеть получает их и должна предсказать следующие значение сигнала

[Александр Скуснов]

Евгений Лернер, дохлая затея, проверено на форексе

[Евгений Лернер]

Александр Скуснов, кем проверено? Есть ссылка? Я тоже хочу проверить.мне не хотелось бы обсуждать идею. Предпочел бы услышать ответ на вопрос

[mayton2019]

Александр Скуснов, погоди. Ну зачем так. Если выбирать между делать или не делать то я-бы выбрал - делать модель.

[Александр Скуснов]

Евгений Лернер, Вкратце, ситуация такая. Имеем большой шум. Нейронная сеть тоже будет предсказывать дикие колебания. Хотя, если обучение не получится, то будет выдавать просто предыдущий сигнал с небольшим изменением. Можно избавиться от шума. Напр., берём скользящее среднее (5 прошлых отсчётов, текущий и 5 следующих). С таким сдвигом отстаём на 5 отсчётов. Плавную кривую можно прогнозировать на 1-2 шага, но нужно-то 6! Если не делать сдвиг назад, то будет виляющий хвост, т.е. на первом шаге будет один прогноз, а на следующем (и дальше) уже другой.

[Евгений Лернер]

Александр Скуснов, это все азбука. Я на эту тему диплом в 77 году писал. Я задал вопрос об архитектуре нейронной сети для вектора. Я надеюсь она сможет не только хорошо предсказывать тренди но и распознавать паттерны.

[Александр Скуснов]

Кто мешает на вход сети подавать вектор, а не один сигнал? Нейрону первого слоя всё равно, сколько входов приходит (количество весов будет равно количеству входов плюс одно смещение).