Лучше на python или любом другом скриптовом языке, большинство хороших библиотек для нейронных сетей работают хорошо на python и С++.
Алгоритмы такие как в Prisma - чистая математика, есть аналог (Ostagram) исходники открытые
https://github.com/SergeyMorugin/ostagram там используется реализация алгоритма под авторством Leon A. Gatys, Alexander S. Ecker, Matthias Bethge ( ссылка на математическую теорию
arxiv.org/pdf/1508.06576v2.pdf ). Реализация сделана на библиотеке torch под lua
https://github.com/jcjohnson/neural-style
Чтобы лучше понять что это такое можете посмотреть любые уроки по нейронным сетям. Там много математики, поэтому любовь к математике обязательна, иначе станет скучно.