Почему неправильная производная работает лучше?

Question

[Тарас Сереванн]

Здравствуйте! Пиши многослойный персептрон с обратным распространением ошибки по этому туториалу

Там используется логистическая функция и её производная

def nonlin(self, x, deriv=False):
        if (deriv == True):
            return x * (1 - x)
        return 1 / (1 + np.exp(-x))

и получается что производная это x * (1 - x), но судя по гуглу, производная логистической фукнции df'(x) = f(x) * (1 - f(x)), а не df'(x)= x * (1 - x). Тем не менее, когда я исправляю в коде вычисление производной на правильный вариант, точность предсказания нейросети значительно падает.

Почему?

Answer 1

[ivodopyanov]

Потому что при вычислении производной на вход nonlin подается не вход этого слоя, а уже вычисленный ранее выход.