Почему нейросети точность растет вместе с ошибкой?

Всегда пожалуйста :)

Почему нейросети точность растет вместе с ошибкой?

Ответ на вопрос "почему val loss растет, а точность не падает" может быть следующим:

функция активации для последнего слоя softmax, loss - categorical_crossentropy. Предположим есть 3 класса [dog, cat, bird]. Для определенной картинки правильный ответ "dog". Как изменяется ситуация в процессе обучения:

1. итерация #3: softmax=[0.8, 0.1, 0.1], loss=0.22, accuracy=1
   
2. итерация #13: softmax=[0.7, 0.15, 0.15], loss=0.36, accuracy=1
   
3. итерация #23: softmax=[0.6, 0.3, 0.1], loss=0.51, accuracy=1
   

То есть, класс картинки будет определяться правильно, но loss будет расти.

Нужны ли негативные примеры при классификации изображений?

Если есть датасет с "негативными" примерами, я бы порекомендовал обучить 2 сетки на 3 класса + обработка вероятностей и 4 класса. Проверите метрики для обоих и решите, какая версия для вас более подходящая.

Описание данных для обучения нейронной сети - как описать?

У вас закрыт доступ к ноутбуку:

Почему код функционального api работает, а Sequential нет?

А можно взглянуть, как выглядит x_train и x_test, хотяб по одной строке.

Я бы порекомендовал упростить сеть и добавлять по одному слою. Можно начать с самого простого:

keras_model = Sequential()
keras_model.add(Dense(14, activity_regularizer=regularizers.l1(10e-5), input_shape=(1,)))
keras_model.add(Activation('relu'))
keras_model.compile(optimizer='adam', loss='mean_squared_error', metrics=['accuracy'])
keras_model.fit(x_train, x_train,
                    epochs=nb_epoch,
                    batch_size=batch_size,
                    shuffle=True,
                    validation_data=(x_test, x_test),
                    verbose=1)

Почему код функционального api работает, а Sequential нет?

Попробуйте заменить input_shape на input_dim.

keras_model = Sequential()
keras_model.add(Dense(14, activity_regularizer=regularizers.l1(10e-5), input_dim=1))

Какой метод машинного обучения стоит использовать?

Я имел ввиду, данные размечены для обоих задач?

Например:
Х = [[1, ,2, 3, ...., 49, 50], [1, ,2, 3, ...., 49, 50], [1, ,2, 3, ...., 49, 50]]
y_1 = [1, 0, 1]
y_1 = [0.123, 3.1, 1.78]

Какой метод машинного обучения стоит использовать?

У вас есть для классификации метки классов и, соответственно, значения для задачи регрессии?

Как правильно подготовить данные для обучения сети?

В интернете много информации на данную тему. Надо искать исходя из своих знаний и потребностей.

Если владеешь английским, можно начасть с Intro to Machine Learning и Intermediate Machine Learning. Там доступно объясняют и есть практические задания.

Что узнать, за счет чего растет качество модели?

Cкорее всего, говорить о увеличении сложности можно будет, если вы явно измените параметры модели - увеличите максимальную глубину дерева или минимальное количество примеров в листовом узле.

Что касается качества признаков:

• Если вы решаете задачу регресии, можно посмотреть корреляцию числовых признаков с целевой переменной (correlation heatmap)
  
• У Random Forest или XGBoost, после обучения доступно такое свойство модели, как feature_importances_. Если новый признак имеет высокий скор, значит он вносит существенный вклад.
  

Не понимаю как связать word2vec с Алгоритмом минимального покрывающего дерева (MST)?

Немного был занят, а тут попалась статья и напомнила о вопросе - Using word2vec to Analyze News Headlines and Predi.... В статье есть функция - document_vector , которая реализовывает похожий функционал.

Там есть ссылка на код, надеюсь будет полезно.

Обязательно ли заполнять матрицу с примерами всем словарем возможных слов?

Хммм, давайте посмотрим, что нам предлагает тот же sklearn - три основных эвристики:

1. limit - build a vocabulary that only consider the top max_features ordered by term frequency across the corpus. Мы ограничиваем словарь на заданную длину, отсортировав его по частоте слова во всем корпусе.
   
2. high - When building the vocabulary ignore terms that have a document frequency strictly higher than the given threshold. Исключаем слова, которые встречаются чаще заданного порога во многих документах. Можно рассматривать, как стоп-слова.
   
3. low - ignore terms that have a document frequency strictly lower than the given threshold. Исключаем слова, которые встречаются реже заданного порога во многих документах. К стати, можно указывать, какой процент документов является "во многих документах". Тут нужно быть аккуратным, иначе можно исключить важные слова, которые описывают определенные товары.
   

Основная идея в том, что для классификации товаров алгоритму не нужны слова, которые встречаются одинаково часто во всех описаниях.

Обязательно ли заполнять матрицу с примерами всем словарем возможных слов?

Да, при появлении новых документов, придется обучать заново.

Как классифицировать большие данные с использованием Sklearn?

Что можно сделать для начала:

1. Посмотреть learning curve для SGDClassifier
   
2. Если график покажет, что модель можно улучшить большим количеством данных, SGDClassifier поддерживает partial_fit
   
3. Воспользоваться classification_report для оценки модели
   
4. Посмотреть confusion_matrix - скорее всего, есть специальности по которым очень легко различить тексты. А улучшить классификацию по похожим специальностям может оказаться очень сложно
   

Как заменить все отрицательные значения на другое значение в pandas.DataFrame?

Пробовали?

df.loc[df['column_name'] < 0, 'column_name'] = mediana_value

Как очистить текст от шума по смыслу? Или разбить текст на смысловые блоки?

1. Тут нет заведомо правильного ответа. Попробуйте начать с нескольких тысяч примеров для каждого класса. Проверьте качество классификатора. Если качество недостаточно высокое, добавьте еще данных.
   
2. Можно начать с LogisticRegression MultinomialNB SGDClassifier
   

Как получить вектор из слова на кириллице?

Хммм, возможно Вам стоит подойти к вопросу под другим углом? Большинство библиотек для нейронных сетей умеют делать word embedding из коробки. Пример /embeddings слоя для Keras. Вот развернутый пример из документации Keras-а.

Как получить вектор из слова на кириллице?

Если нужен вектор именно в диапазоне 0 - 1, тогда использовать One Hot Encoding и не заморачиваться с word2vec.

Как получить вектор из слова на кириллице?

Про параметры лучше почитать в документации. Единственное, если Вы скачиваете уже предобученную модель, Вы не можете менять параметры.

Пробуйте ;)

Как получить вектор из слова на кириллице?

xmoonlight, игрушечный пример - для каждого слова можно получить его векторное представление.