Время обучения нейронных сетей очень разнится в зависимости от размера сети и объема тренировочной выборки. Разумеется, если вы хотите построить сеть, которая будет выдавать сравнимые с победителями результаты на ImageNet, понадобится сравнимая архитектура из сотен или тысяч машин.
Но для знакомства с нейронными сетями и пробой сил в небольшом, но интересном приложении, вполне достаточно обычного декстопа с дискретной графической картой не слишком древних лет (чтобы CUDA работала). Существует много открытых библиотек для этого - Caffe, Theano, Torch. К ним есть тьюториалы и сэмплы с готовыми сетями, на которых можно поэкспериментировать. В последнее время появилась ещё отличная GUI-система для обучение - NVIDIA DiGiTs. Ей вообще можно пользоваться с минимумом специальных знаний.
Для примера небольшая Convolutional Neural Net для OCR, включая цифры, буквы, пунктуацию и т.д. обучается за пару минут, анализ фото с несколькими классами (природа vs город, для примера) минут за 10-20. Самое сложное - задать грамотную внутреннюю структуру сети, но для начала можно пользоваться сэпловыми. Ну и данные набрать, но тут уж всё в ваших руках.