Что такое обратная функция активации(inverse activation function)?

Question

[Deathgar]

Наткнулся на вот эту статейку. В этой статейке, под рисунком нейронной сети есть таких два обзаца:

It’s more chaotic than a traditional neural network due to the sparse connectivity and skip connections, but it is more explainable since the activation functions and structure have been explicitly optimised.

The most striking feature of the network is the x parameter (position of the cart) has an almost direct line to the output node, which calculates force, intercepted only by a single hidden neuron with an inverse activation function. This line has the effect of providing a force towards the center of the screen regardless of the sign of the shared weight value: the network has learned how to get the cart to the center in a weight-agnostic way.

Не могу найти никакой информации об этой обратной функции активации(inverse activation function). Мб есть у кого ссылка на неё или сама формула? Или что это вообще за функция активации такая?

Answer 1

[xmoonlight]

Тут 7-я страница.

Отрывок из PDF

Если y=f(x)— функция активации для прямых сигналов, то ее обратная функция — x=g(y). Для логистической функции нахождение обратной функции сводится к простой алгебре:y = 1/(1 + e-x)1 + e-x = 1/ye-x = (1/y)-1 = (1-y)/y-x = ln[(1-y)/y]x = ln[y/(1-y)]Эта функция называется logit, и библиотека Python scipy.special предоставляет ее как scipy.special.logit(), точно так же, как и логистическую функцию scipy.special.expit().

Берём любую из этих и выражаем X. Это будет обратная функция к той, что взяли.

Comments

[Deathgar]

403 ошибка. Чтобы туда зайти, регистрация нужна, что ли?

[Deathgar]

Нет. Не помогло.
У меня недостаточно прав для просмотра этой страницы.

[xmoonlight]

Deathgar, нет, я без реги открываю pdf-ку прям в браузере

[Deathgar]

xmoonlight, Oops! Forbidden. You tried to access a document for which you don't have privileges.
Не мог бы ты загрузить в какой-нибудь файлообменник эту пдфку (dropmefiles например), пожалуйста.

[xmoonlight]

Deathgar, вот https://dropmefiles.com/zRCXx

[Deathgar]

xmoonlight, Спасибо. Но я не полностью уверен, что это то, что мне нужно. Т.к. в этой и подобных статьях нигде точно не указывается, что это за функция, это может быть как какая-то одна функция, так и инверсированная любая. Сложно сформулировать то, что я хочу сказать.

В общем, вот ссылка на гугловскую статью. Если спуститься вниз, там будут отдельные ноды: "inv". Если я правильно понял по тому документу, что вы мне дали, то это обратная функция, это обратная функция от какой-то другой функции активации.

Но почему тогда на диаграмме каждая нода названа не именами обратных функций, а именно inv.
Сложно объяснить чё меня не устраивает. Но я попытался :D

[xmoonlight]

Deathgar,

Эта функция называется logit, и библиотека Python scipy.special предоставляет ее как scipy.special.logit(), точно так же, как и логистическую функцию scipy.special.expit().Прежде чем использовать обратную функцию активации logit(), мы должны убедиться в допустимости сигналов.

[xmoonlight]

Deathgar, Попробую своими словами пояснить:
Если конечное значение переходной функции выражено через одну переменную, то обратная к ней - должна быть выражена через конечное значение этой функции.
Пример.
Прямая: y=2x
Обратная к ней: x=y/2

(это нужно было?)

[Deathgar]

xmoonlight, проблема в том, что в этой нейронной сети вершины, рёбра добавляются по мере прокачки сети, а так же меняется в рандомной вершине функция активации на любую другую. Но в статье нигде не рассказывается вся цепочка мутаций. Вот я и не понимаю, эти inv, это обратная функция какой-то конкретной функции или это отдельная и единственная функция.
Но, на сколько я понимаю из документа, к любой другой относится и обратная.

Т.е. например это не какая-то там функция y = (e*x)^-1 (к примеру, просто пример), а обратная функция от функции, которая там была...
Код бы посмотреть...

[xmoonlight]

Deathgar, ну на 7-й странице - алгебраические преобразования смотрите (тонким синим, в центре, столбиком).
Они выражают x = ln[y/(1-y)]

[xmoonlight]

Deathgar, а была: y = 1/(1 + e^-x)
логистическая/сигмоида (3-я в таблице википедии)

[xmoonlight]

Deathgar,

# activation function is the sigmoid function
        self.activation_function = lambda x: scipy.special.expit(x)
        self.inverse_activation_function = lambda x: scipy.special.logit(x)

(линк гитхаба)

[Deathgar]

xmoonlight, не, говоря про код, я имел ввиду чистый код, а не фреймворк.
Я видел то, что там написано, я сейчас перефразирую вопрос.

У каждой функции активации есть своя обратная функция активации, получается?

[xmoonlight]

Deathgar, у любой функции - есть своя обратная.