Вам нужно подготовить "правильную" метку ответа так, чтобы для этого нейрона была нужное вам значение, а для остальных то что выдала сеть. Тогда при расчёте ошибки, их влияние будет 0.
Как уж это выглядит в js коде я хз.
Andrei1penguin1, нет, из пришедших 16 фичимап мы с помощью индивидуальных фильтров создаёт одну новую фичимап.
И я не совсем понял, что за операции вы тут насчитали.