FFoxDiArt

Если вам не принципиально нужно написать свое решение, советую воспользоваться готовыми фреймворками, вроде Aforge. А сейчас у вас в коде что-то невнятное творится, я так и не понял, каким образом нейроны у вас между собой связаны и где сам цикл обучения, в котором уменьшается значение ошибки.

Вы уж определитесь, что вам нужно: либо параллельно выполнять, либо последовательно. Зачем создавать параллельный код, который будет вести себя как последовательный, но с диким overhead'ом?