Что подавать на вход нейронке?

Question

[Денис Гончаренко]

В случае обработки изображения нейронкой все понятно, там берется изображение фиксированного размера и на вход нейронке подаются значения пикселей. А как быть, если количество входных данных может варьироваться? Например если нейронка должна делать какой-то вывод о слове, тогда вероятно на вход будут подаваться буквы этого слова, но их может быть разное количество.

Answer 1

[longclaps]

Рассмотрим слова длины до 10 букв включительно. Наименьшее общее кратное из длин - 2520, наверное, это приемлемо.
Берёшь и подаёшь на входы:
"a" -> "a" * 2520
"ab" -> "a" * 1260 + "b" * 1260
и так далее.
ps Сам не пробовал.
pps Я просто показал, как можно реализовать "масштабирование". Но что мешает просто пополнить слово до максимальной длины пробелами? Наверное, недостаток ума и сообразительности ) Напридумывать способов можно множество.

Comments

[Денис Гончаренко]

Можно пример на каком-нибудь слове?

[longclaps]

Денис Гончаренко,

"пример" -> "пример                                  "

[Денис Гончаренко]

Понятно что можно добить чем-то слово, но проблема в том, что при таком подходе местоположения суффиксов, окончаний не будут совпадать, то есть у одного слова на какие-то нейроны выпадет корень а у более короткого слова там будет уже окончание, что, как мне кажется не позволит нейронке выявить зависимости, связанные с частями слова.

[longclaps]

Денис Гончаренко, я рад за тебя: ты умнее нейронки и помнишь морфологию. Но всё-таки я бы не стал утверждать, что паддинг не позволит нейронке выявить зависимости, ведь не части же слова ты ищешь.
Если всё-таки части - выбрось нейронку и воспользуйся библиотекой pymorphy.

[Денис Гончаренко]

longclaps, не части слова ищу, но многие особенности слова зависят именно с частями слов. Так например часть речи в большинстве случаев определяется по суффиксов и окончанию.

[longclaps]

Денис Гончаренко, ты главного не понял: нейронка сама решает, что важно а что нет, а если бы ты ей указывал - она бы была не более эффективна, чем ты.

Answer 2

[Данил]

Примерный план действий:

• Определяете среднюю длину слова в наборе
  
• Токенизируете каждое слово
  
• Удаляете "лишние" у очень длинных слов или "добавляете" недостающие знаки у коротких слов
  

Таким образом можно решить размерности входных данных. Пример для наглядности:

import numpy as np

from tensorflow.keras.preprocessing.text import Tokenizer
from tensorflow.keras.preprocessing.sequence import pad_sequences

X = np.array(['диверсификация', 'приз', 'калейдоскоп'])

tokenizer = Tokenizer(char_level=True)
tokenizer.fit_on_texts(X)

X_tokenized = tokenizer.texts_to_sequences(X)
print(X_tokenized)

X_padded = pad_sequences(X_tokenized, maxlen=len(X_tokenized[2]), padding='post', truncating='post')
print(X_padded)

Answer 3

[mayton2019]

Дорог может быть миллион в зависимости от того что автор хочет получить на выходе.
Если - посчитать количество гласных букв - то одно. Если категоризировать слово или слова
то это другое. И возможно тут нужна предобработка слов. Стемминг или лемматизация.

Вообще НС на вход получает векторы вещественных чисел. И преобразовать слово в эти векторы - большое искусство. Оно должно быть осмысленным. Если нам не удалось получить эти векторы - то бесполезно что либо делать. Нейронка на входе будет видеть шум. И никакого обобщения сделать не сможет.

Поэтому давайте в топике спросим а как звучит настоящее техническое задание?