Как задать иерархию паттернов активации нейросетей?

Question

[Mersi_dems]

Как задать иерархию паттернов активации нейросетей?
КВк задать архитектуру нейросети чтобы более слабые паттерны заглушались сильными, но не исчезали и их можно было бы вызвать, когда сильный паттер ослабнет.

Comments

[rPman]

"Кажется понял но не понял". я даже задал этот вопрос chatgpt и он тоже не понял.

Если включить 'мою телепатию', то у тебя одни признаки в данных сеть хорошо распознает, а другие нет... а если переучиваешь заново, то происходит наоборот?

Скорее всего сеть вообще не может найти твои признаки и тупо заучивает обучающую выборку (это будет видно на проверочной выборке, когда на ней ошибка будет выше чем на обучающей), если сеть переучивается, нужно поработать с данными, менять архитектуру или хотя бы структуру (да просто размерности) сети.

Работа с данными подразумевает повышение их качество, нужно чтобы данные как можно равномернее представляли все классы твоей задачи (не было бы миллиона кошечек и всего пары собак) так же помни что рекомендуется создавать класс - другие, и дополнять выборку этими классами (спорный вопрос), это можно было бы интерпретировать как - неизвестно... количество таких данных должно быть достаточно велико.

[mayton2019]

Мне кажется что этого делать не нужно потому что это и есть функционал нейросети. Давить слабого и поддерживать сильного.

Если автор вводит какую-то сложную динамику основанную на времени - дексыть хочется переключиться на другой паттерн - то это по сути откат обучения назад во времени. Я не понимаю зачем это нужно.

Или автор строит не нейронную сеть а дерево принятия решений поверх сети. Но это уже другая история
и ее можно рассматривать за скобками нейросети.

Короче не нужно переусложнять.

[Mersi_dems]

mayton2019, Я пробую сделать нейросеть на основе иерархии паттернов. Так идея похожа на дерево принятия. Но суть в том, чтобы на один раздражитель НМ имела несколько вариантов действий.