@thehyperbit

Проблема интерпретируемости?

Здраствуйте, пишу научную работу на тему человеческого и искусственного сознания с уклоном в биологический раздел науки. Во многих источниках описана так называемая "проблема интерпретируемости", цитирую: "После обучения нейросети у нас практически нет никакой возможности определить, на основании чего нейросеть принимает то или иное решение (и тем более повлиять на это решение). Часто говорят, что нейросеть — это «черный ящик»." Действительно ли это так? Правда ли что нельзя никак определить, как какой-либо нейрон, вес или смещение влияет на итоговый результат? Может быть существует какой-то алгоритм на стадии концепта или какая-нибудь статья, решающая эту проблему?
Заранее спасибо за потраченное время!
  • Вопрос задан
  • 97 просмотров
Пригласить эксперта
Ответы на вопрос 2
@vabka
Токсичный шарпист
Правда ли что нельзя никак определить, как какой-либо нейрон, вес или смещение влияет на итоговый результат?

В этом нет проблемы - все веса известны. Проблема именно в том, чтобы понять, почему веса именно такие.
Ответ написан
@kamenyuga
Да, это так. Нейронную сеть трудно интерпретировать, потому что она сложно устроена. Даже в простых случаях нейронка - это несколько слоев из десятков или сотен нейронов, при этом каждый следующий слой зависит от предыдущего, а кроме того между слоями применяются функции активации и дропауты. Один из свежих подходов к интерпретации нейронок - LRP (layer-wise relevance propagation). Так что гугли что-то вроде "neural network interpretation with lrp method". Ожидается, что все серьезные источники будут на английском и наполнены матаном.
Ответ написан
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы