Как правильно формировать данные для нейросети?

Question

[retr0]

Ради интереса решил попробовать написать примитивную нейросеть, для классификации текстовых предложений по типам (Вопрос, утверждение, шутка и т.д.). Вручную натыкал примерно 400 сообщений для тренировки сети, каждому присвоил соответствующий тип. Столкнулся с проблемой в моделировании сети, т.к. для формирования входного слоя решил использовать базу русских слов во всех морфологических формах (А там около 1 500 000 слов). То есть количество входных нейронов у нас равно количеству слов в базе, а их значения либо 0 (если слова из базы нет в сообщении) либо 1 (если слово из базы есть в сообщении).
И очевидно столкнулся с тем, что мой пк не в силах осилить подобный труд, как и любой пк в мире, я полагаю) Поэтому стало интересно как поступают умные люди в подобных ситуациях, к примеру когда нужно обработать изображение очень высокого качества и с большим разрешением.
Заранее прошу не кидаться в меня помидорами, так как тему только осваиваю и понимаю местами поверхностно)

Answer 1

[freeExec]

Не знаю почему вы сами не стали искать информацию, её просто море.
Но всё же, краткая выжимка такая:
По поводу текста. Да, слова кодируют, но не обычным числом, а вектором большой размерности, например двенадцати-мерное пространство, вообразить практически не возможно. Созданием такого вектора занимается тоже нейронка. Впрочем такие векторы уже давно созданы и их можно скачать. Есть даже для русского языка. Их главная фишка в том, что если из вектора "женщина" вычесть вектор "мужчина" и прибавить эту дельту к вектору "король" мы получим вектор "королева".
Второе, для обработки текста используют нейронные сети в "памятью". Т.е. на вход подаётся очередное слово из предложения с неким состоянием от предыдущего прохода.
Про изображения - никто не запихивает 4К фотку в сетку. Либо нарезают изображение на маленькие кусочки, либо сжимают. Напомню что первые соревнования по классификации изображений cifar-10 были на картинках 16х16 пикселей. На вход сети VGG, например, подают изображения 224х224 пикселя.