@Maxxx_py

Что я делаю не так, и почему нейросеть не генерирует уникальный текст?

Есть вот такой код:
from MODULE import data_sr #здесь импорт моих библиотек, в данном случае всё что связано с data_sr пропускаем
import numpy
import sys
import tensorflow
from keras.models import Sequential
from keras.layers import Dense, Dropout, LSTM
from keras.utils import np_utils
from keras.callbacks import ModelCheckpoint


data = open("DATA/text.txt", encoding='utf-8').read() #Здесь у меня текст который я прогнал через ntlk stopwords, здесь текста на 1.6мб, не самое большое количество, но что смог
file = data.lower()

processed_inputs = file
chars = sorted(list(set(processed_inputs)))
char_to_num = dict((c, i) for i, c in enumerate(chars))
input_len = len(processed_inputs)
vocab_len = len(chars)
# print ("Total number of characters:", input_len)
# print ("Total vocab:", vocab_len)

#здесь у меня установка длинны текста, по стандарту 100 символов
try:
    seq_length = int(data_sr.get_lenght())

except TypeError:
    seq_length = 100 

#Здесь функция в которой происходит генерация
def generate_verses():
    x_data = []
    y_data = []

    for i in range(0, input_len - seq_length, 1):
        in_seq = processed_inputs[i:i + seq_length]

        out_seq = processed_inputs[i + seq_length]

        x_data.append([char_to_num[char] for char in in_seq])
        y_data.append(char_to_num[out_seq])

    n_patterns = len(x_data)
    # print ("Total Patterns:", n_patterns)

    X = numpy.reshape(x_data, (n_patterns, seq_length, 1))
    X = X / float(vocab_len)

    y = np_utils.to_categorical(y_data)


    model = Sequential()
    model.add(LSTM(512, input_shape=(X.shape[1], X.shape[2]), return_sequences=True))
    model.add(LSTM(256, return_sequences=True))
    model.add(LSTM(256))
    model.add(Dense(y.shape[1], activation='softmax'))

    model.compile(loss='categorical_crossentropy', optimizer='adam')

    filepath = "DATA/model_weights_saved_more_dense.hdf5" #Моя нейросеть обучена на loss = 1.6
    checkpoint = ModelCheckpoint(filepath, monitor='loss', verbose=1, save_best_only=True, mode='min')
    desired_callbacks = [checkpoint]

    filename = "DATA/model_weights_saved_more_dense.hdf5"
    model.load_weights(filename)
    model.compile(loss='categorical_crossentropy', optimizer='adam')

    num_to_char = dict((i, c) for i, c in enumerate(chars))
    start = numpy.random.randint(0, len(x_data) - 1)
    pattern = x_data[start]

    return ''.join([num_to_char[value] for value in pattern])


Почему моя нейросеть не генерирует текст, а просто берет уже готовый текст из файла text.txt. Без прогонки nltk.stopwords нейросеть сама отбрасывает некоторые слова, но проблема остаётся прежней.
В файле текста примерно на 35-40 тысяч строчек.
Хочу узнать, нейросети нужно больше текста для полноценной генерации, или здесь моя ошибка?

P.s Я задался таким вопросом, когда после какого-то изменения (уже не помню что я сделал) нейросеть сгенерировала уникальный стих
  • Вопрос задан
  • 113 просмотров
Пригласить эксперта
Ответы на вопрос 2
@mayton2019
Bigdata Engineer
А откуда вытекает утверждение об уникальности? На самом деле я не знаю. Но мне интересно, понимает ли автор свойства своего кода.
Ответ написан
@GrKon
как минимум у вас нет кода обучения сети и предсказания.
Общая схема (обучение с учителем):
- грузим вход/выход (рабочий 70% и тестовый 30%
- создаем/конфигурируем модель (то, что у вас есть)
- обучаем модель
- получаем результаты по обученной модели
(последних двух пунктов в коде не наблюдается.)
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы