Здраствуйте, пишу научную работу на тему человеческого и искусственного сознания с уклоном в биологический раздел науки. Во многих источниках описана так называемая "проблема интерпретируемости", цитирую: "После обучения нейросети у нас практически нет никакой возможности определить, на основании чего нейросеть принимает то или иное решение (и тем более повлиять на это решение). Часто говорят, что нейросеть — это «черный ящик»." Действительно ли это так? Правда ли что нельзя никак определить, как какой-либо нейрон, вес или смещение влияет на итоговый результат? Может быть существует какой-то алгоритм на стадии концепта или какая-нибудь статья, решающая эту проблему?
Заранее спасибо за потраченное время!
Да, это так. Нейронную сеть трудно интерпретировать, потому что она сложно устроена. Даже в простых случаях нейронка - это несколько слоев из десятков или сотен нейронов, при этом каждый следующий слой зависит от предыдущего, а кроме того между слоями применяются функции активации и дропауты. Один из свежих подходов к интерпретации нейронок - LRP (layer-wise relevance propagation). Так что гугли что-то вроде "neural network interpretation with lrp method". Ожидается, что все серьезные источники будут на английском и наполнены матаном.
