Как правильно формировать данные для нейросети?

Ради интереса решил попробовать написать примитивную нейросеть, для классификации текстовых предложений по типам (Вопрос, утверждение, шутка и т.д.). Вручную натыкал примерно 400 сообщений для тренировки сети, каждому присвоил соответствующий тип. Столкнулся с проблемой в моделировании сети, т.к. для формирования входного слоя решил использовать базу русских слов во всех морфологических формах (А там около 1 500 000 слов). То есть количество входных нейронов у нас равно количеству слов в базе, а их значения либо 0 (если слова из базы нет в сообщении) либо 1 (если слово из базы есть в сообщении).
И очевидно столкнулся с тем, что мой пк не в силах осилить подобный труд, как и любой пк в мире, я полагаю) Поэтому стало интересно как поступают умные люди в подобных ситуациях, к примеру когда нужно обработать изображение очень высокого качества и с большим разрешением.
Заранее прошу не кидаться в меня помидорами, так как тему только осваиваю и понимаю местами поверхностно)
  • Вопрос задан
  • 110 просмотров
Решения вопроса 1
freeExec
@freeExec
Участник OpenStreetMap
Не знаю почему вы сами не стали искать информацию, её просто море.
Но всё же, краткая выжимка такая:
По поводу текста. Да, слова кодируют, но не обычным числом, а вектором большой размерности, например двенадцати-мерное пространство, вообразить практически не возможно. Созданием такого вектора занимается тоже нейронка. Впрочем такие векторы уже давно созданы и их можно скачать. Есть даже для русского языка. Их главная фишка в том, что если из вектора "женщина" вычесть вектор "мужчина" и прибавить эту дельту к вектору "король" мы получим вектор "королева".
Второе, для обработки текста используют нейронные сети в "памятью". Т.е. на вход подаётся очередное слово из предложения с неким состоянием от предыдущего прохода.
Про изображения - никто не запихивает 4К фотку в сетку. Либо нарезают изображение на маленькие кусочки, либо сжимают. Напомню что первые соревнования по классификации изображений cifar-10 были на картинках 16х16 пикселей. На вход сети VGG, например, подают изображения 224х224 пикселя.
Ответ написан
Пригласить эксперта
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы