Как сделать обучение без учителя в tensorflow python?

Question

[Voprosium]

Добрый вечер, как сделать обучение без учителя в tensorflow? Если я не предаю параметр y то у меня выдает ошибку, что не хватает output-та что делать?

Вот код тренировки

model.fit(x_train,
	       epochs=20,
	       batch_size=128,
	       validation_split=0.1,
	       verbose=1)

Answer 1

[dmshar]

А модель-то у вас какая? Мы должны сами догадаться?
Ну, предположим, что если обучение без учителя и Tensorflow, то вы работает с Autoencoder'ом.
Вот неплохие тюториалы:
https://www.tensorflow.org/tutorials/generative/au...
https://www.pyimagesearch.com/2020/02/17/autoencod...

Comments

[Voprosium]

Tensorflow Keras. LSTM сеть.

[dmshar]

LSTM сеть по своей природе сеть предсказательная, т.е. классифицирующая. Для задач кластеризации - мягко говоря малопригодная. Что от нее можно хотеть, не подавая на вход набор обучения без меток - представить сложно. Поэтому на ваш вопрос ответ скорее всего - никак.
Впрочем может кто-то где-то когда-то что-то кластеризовал с помощью LSTM (что очень вряд-ли), и посмотреть на результат было бы крайне интересно.

[Voprosium]

А можете подсказать какую сеть надо использовать

[dmshar]

Так мы даже не знаем, что за задачу вы решаете.
А в как один из вариантов - я выше написал, да вы видно не заметили - Autoencoder.
А вообще, задача кластеризации вполне себе прилично решаются и без неросетей. В той же Scikit-learn с десяток вполне рабочих методов.

[Voprosium]

У меня не классификация.
Я хочу попробовать научить сеть ввести диалог.
У меня есть датасет из диалогов в виде чисел.
Вопрос в том что должен выводить код и поэтому я выбрал обучение без учителя.
Идея тяжёлая и я не знаю как у меня получится.

[dmshar]

Классификация - это не всегда два возможных ответа, иногда это тысячи возможных ответов. А при распознавании лиц (например по фото) - и миллионы.
Обучение диалогу - эти типичная (!) задача классификации.
Сначала вы скармливаете десятки тысяч примеров пар "вопрос"(вход)-"ответ"(метка). Система обучается и строит модель классификатора, по которой потом на неизвестный ранее вопрос дает наиболее подходящий ответ.
Обучения без учителя тут разве что в предварительной кластеризации ответов, да и то не факт, что надо.
В чем "тяжесть" идеи - непонятно. Таких систем есть достаточно реализованных. Советую поискать, почитать, подковаться теоретически, а уж потом приступать к реализации.

[Voprosium]

Спасибо за ответ! Начал изучать нейронные сети. Пришлось самому делать датасет диалогов.

[Voprosium]

dmshar, я просто хотел сказать что я решил использовать LSTM так как его используют когда не знают сколько данных будет на входе. А там юзают Dense.
Что делать?

[dmshar]

Voprosium, "А там юзают Dense". Где-там????