Лучше говорить, не "функция ошибки" (error), а "функция потерь" (loss), в качестве которых может выступать среднеквадратичная ошибка (MSE), средняя абсолютная ошибка (MAE), перекрёстная энтропия и пр. С помощью этой функции оценивается отличие полученного результата от ожидаемого. Задача стоит в её минимизации. Производные нужны, чтобы рассчитать градиент для последующей коррекции весов. Градиенты рассчитываются по всем элементам сети, начиная с функции потерь, постепенно распространяя ошибку назад ко входу в виде коррекции весов.
