нейросеть сводится к пересчету веса (значимости) каждого нейрона,
все интересное - в алгоритмах пересчета весов,
в основе это матанализ и теория вероятностей,
гуглить для начала градиентный спуск, распространенный но не единственный,
упрощенно - под конкретную задачу ищем метод который балансирует между скоростью обучения и возвратом (сбросом весов) при коррекции ошибок