Что если совместить ГА и ИНС?

Question

[zeuss56]

Есть ли смысл совместить генетический алгоритм с нейронной сетью, то есть генетика будет улучшать алгоритм генерации пресета нейросети следующего поколения с помощью скрещивания + часть опыта нейросети будет передаваться по наследству? Насколько это будет эффективно и в каких задачах? Существует ли что-то подобное? Интересно ваше мнение.

Answer 1

[sim3x]

homepages.inf.ed.ac.uk/pkoehn/publications/gann94.pdf

Combining Genetic Algorithms
and Neural Networks

Philipp Koehn
December 1994

https://scholar.google.com.ua/scholar?q=cs+genetic...

Comments

[zeuss56]

А на Хабре что-то об этом есть?

[zeuss56]

Насколько это будет эффективно и в каких задачах?

[sim3x]

Вадим Егоров:
Не удалится
Есть, но не уверен, что данная тема раскрыта https://www.google.com.ua/search?q=site%3Ahabrahab...

Забудь про переводы
Если у тебя трудно даются первые шаги, то попробуй пройтись по курсу https://ru.coursera.org/learn/supervised-learning/...

[sim3x]

Вадим Егоров: Насколько я помню, сложные сети никто кроме ГА не потянет. Потому только ГА еффективен, в общем случае, для НС

[zeuss56]

sim3x: Уже удалился один вопрос по теме - http://toster.ru/q/365134

[zeuss56]

sim3x: >Насколько я помню, сложные сети никто кроме ГА не потянет...
Природа даёт пример - ГА в роли естественного отбора правит генерацию первоначальной НС в роли мозга новорожденного.

[sim3x]

Вадим Егоров:

https://www.google.com.ua/search?q=site%3Atoster.r...

[sim3x]

Вадим Егоров:
хоть терминология пришла из биологии, прямое сравнение неуместно

[zeuss56]

sim3x: неуместно по моральным соображениям или техническим?

[sim3x]

Вадим Егоров: техническим

[Вячеслав Шиндин]

Баловался когда-то с ГА+нейронки, делал что-то вроде символьной регрессии вместо функций акстиваций, подбирал их с помощью ГА + веса аналогичным образом. Сходимость таких нейронок была вообще никакая. Может я просто криво закодил, но мне показалось, что вариативность сложных моделей на столько сильно зашкаливает, что ГА не может нащупать правильный локальный минимум и скачет где-то между совсем локальных минимумов, которые вообще далеки от правильного решения...
Возможно я просто не довёл до ума свою модель, может быть когда-нибудь вернусь к этому вопросу ещё раз.