Честно говоря не очень понял, вам нужна библиотека для работы с графикой или библиотека уже которая заточена под нейронные сети?
Что касается графики, то определённо ImageMagick.
Что касается вашего курсовика, то вот вам в помощь старая статья, но очень понятная.
Нейронные сети, распознавание изображений (Журнал программист №10 за 2001 год) 
