Время обучения нейронной сети?

Question

[beduin01]

Последнее время на Хабре очень много статей про нейронные сети. Вопрос. Сколько времени, данных и какая вычислительная мощность требуется нейронной сети, чтобы к примеру научиться собак определять на картинках?

Текущие нейронные сети это закрытые проекты или на джитхабе можно скачать такую сеть и где-то ее запустить?

Comments

[DevMan]

beduin01 оффтоп: гит, не джит.

Answer 1

[Sergei Sudakov]

Время обучения нейронных сетей очень разнится в зависимости от размера сети и объема тренировочной выборки. Разумеется, если вы хотите построить сеть, которая будет выдавать сравнимые с победителями результаты на ImageNet, понадобится сравнимая архитектура из сотен или тысяч машин.

Но для знакомства с нейронными сетями и пробой сил в небольшом, но интересном приложении, вполне достаточно обычного декстопа с дискретной графической картой не слишком древних лет (чтобы CUDA работала). Существует много открытых библиотек для этого - Caffe, Theano, Torch. К ним есть тьюториалы и сэмплы с готовыми сетями, на которых можно поэкспериментировать. В последнее время появилась ещё отличная GUI-система для обучение - NVIDIA DiGiTs. Ей вообще можно пользоваться с минимумом специальных знаний.

Для примера небольшая Convolutional Neural Net для OCR, включая цифры, буквы, пунктуацию и т.д. обучается за пару минут, анализ фото с несколькими классами (природа vs город, для примера) минут за 10-20. Самое сложное - задать грамотную внутреннюю структуру сети, но для начала можно пользоваться сэпловыми. Ну и данные набрать, но тут уж всё в ваших руках.

Answer 2

[Сергей]

Тренировка НС - это из разряда исскуства. Результат полностью зависит от входных данных, метода их предобработки, и даже от того в какой последовательности вы предъявляете входные образы. Каждый раз вы можете получить совершенно различный результат.

Answer 3

[cthulhudx]

Чтобы минимизировать ошибки, нужны огромные вычислительные ресурсы.

В итоге исследователи связали воедино 1 000 компьютеров, имеющих в общей сложности 16 000 вычислительных ядер. Полученная в результате модель нейронной сети насчитывала 1 млрд связей. Таким образом, в лаборатории Google X разработали распределенную вычислительную инфраструктуру для подготовки крупномасштабной нейронной сети.

Нейронная сеть Google научилась выявлять кошек
Насчет исходников - вы вряд ли найдете на просторах интернета что-либо стоящее.В opensource,правда, есть множество библиотек для работы с нейронными сетями и вы можете при желании собрать собственную.