Возможно ли создание нейронной сети на Python с 0?

Question

[Игорек]

Возможно ли создание нейронной сети на Python с 0? Т.е без использования библиотек, и на сколько если это возможно сделать без них, сложнее?

Answer 1

[kzoper]

Возможно. Без них сильно сложнее.

Comments

[Andrey Dugin]

+1
Но зачем?

Answer 2

[cicatrix]

Если выбросить заумный термин "Нейронная сеть", и попытаться разобраться в том, что это такое с точки зрения программирования, то окажется внезапно, что это банальная система уравнений, которая решается самим алгоритмом путём перебора и сверки "ответов" с неким критерием.
Подобное поведение можно вполне реализовать и без библиотек на любом языке.
С другой стороны, если уж кто-то специально постарался и разработал специализированные библиоткеи для этих задач, то почему бы ими не пользоваться?

Comments

[xdgadd]

Реализуйте, пожалуйста, бэкпроп для RCNN с возможностью выбирать оптимизатор, функцию стоимости и количество нейронов на pure python. Или на любом другом языке. Банальная система уравнений ведь.

[cicatrix]

xdgadd, Я не занимаюсь разработками в сфере нейронных сетей, мои знания в этой области весьма поверхностны, однако, прежде чем заклеймить меня, прошу пояснить - если это кем-то реализовано в библиотеке, почему это же нельзя реализовать в pure python? Что такого невозможного для питона?

[xdgadd]

cicatrix, ничего невозможного, в общем-то, нет. Хотя, я бы не стал писать библиотеку для линала на питоне.
Как я упомянул в своём ответе, реализация тривиальной нейронки в пару слоев и с SGD и MSE не представляет никакой сложности. Проблемы начинаются, когда нужно изменить архитектуру сети - даже добавление ещё одного слоя, замена функции активации или оптимизатора повлечёт за собой переписывание всего бэкпропагейшена. Именно из-за этого нужны data-flow графы - они позволяют легко дифференцировать символьные функции и распараллеливать вычисления.
Реализация такого графа уже выливается в нешуточный квест, помимо того, что придётся заниматься дизайном API и поддержкой железа.
Так что, как я уже сказал, реализация нейронных сетей самостоятельно имеет смысл либо в образовательных целях, либо если вы хотите запилить новый фреймворк для глубокого обучения.

[cicatrix]

xdgadd, Вы полагаете, что автор вопроса занимается нейросетями профессионально? :)

[xdgadd]

cicatrix, вы правы. Я не дочитал ваш ответ. Как увидел <банальная система уравнений> и <вполне можно реализовать без библиотек на любом язык> - сразу побежал строчить комментарий. Сейчас перечитал и извиняюсь за наезды.

Answer 3

[xdgadd]

Игрушечный персептрон с парочкой слоев для какого-нибудь Iris - очень легко. А всё остальное - очень сложно.
Самостоятельная реализация имеет смысл только в рамках обучения.
Приведу ссылку на сравнение нескольких библиотек. Также не стоит забывать удобную обёртку поверх Theano для нейронок - Lasagne и питоновское API Torch'a - PyTorch.