ivodopyanov

https://ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D...
https://ru.wikipedia.org/wiki/%D0%9F%D1%80%D0%BE%D...

2 - в части исходных данных может быть какая-то дополнительная структура, которая и правда приведет нас к локальному минимуму. Например, если какие-то N примеров подряд имеют примерно одинаковые входные или выходные данные, то тогда модель обучится, что данные только такого характера и есть в принципе, и ей сложнее будет "расстаться" с этим знанием при обучении на следующих примерах.

1. В машинном обучении обычно обучают на минибатчах - блоках по N примеров, где N обычно не больше 100 - а не по одному.
2. Поэтому там на вход подается не двумерный, а трехмерный массив - <кол-во примеров в минибатче>*<максимальная длина последовательности>*<количество фич \ размерность вектора слова>
3. Прогонять текст через word2vec можно в составе нейронной сети на Keras - есть слой Embedding, в котором можно предустанавливать значения весов. Тогда входные значения - это последовательности id'шников слов.
4. Есть же примеры: https://github.com/keras-team/keras/blob/master/ex...

Если текст - это исключительно ФИО, то можно попробовать написать регулярок на все варианты написания; выделить отдельно Ф, И, О; обработать случаи сокращения имен; сравнить полные варианты по Левенштейну.

1. Отфильтровать все, что точно не телефон (тексты "нет телефона" и т.д.)
2. Превратить цифры, записанные словами, в числа.
3. Оставить в тексте только цифры и "+".

Если в датасете гарантированно, что с цифрами могут быть только телефоны (нет ip-адресов, почтовых индексов, паспортных данных и прочего) - то должно работать.

В кластеризации текста еще есть библиотечка BigARTM от Воронцова, которая позволяет "выращивать" кластеры вокруг наборов предварительно заданных слов.

Не питон плох для бигдаты, а джава хороша для энтерпрайза

Написать что-то такое под произвольную игру без доступа к её API - крайне сложная задача.
Думаю, вам сначала сюда: https://gym.openai.com/

Сам интересуюсь сейчас этой проблемой - алгоритмы doc2vec. Мне вообще кажется, что эта задача должна решаться за счет использования seq2seq как собственно автокодировщика - подаем на вход и выход одни и те же данные, заставляем сеть перегонять фразу в вектор и обратно в фразу и получаем внутри некоторое векторное представление, с которым можно работать. Например, подавать в seq2seq следующего уровня.
Вообще за последний год вышло несколько интересных статей про Hierarchical RNN. Еще интересный вопрос - это использование char-based RNN или CNN для word embedding. В таком случае должна отпадать проблема с OOV-словами, плюс обрабатываться различные орфографические ошибки.

Слишком мало данных
130 примеров

Смотря как были закодированы данные для обучения.
Как правило, изображение раскладывают на компоненты (RGBA, HSB, или просто градации серого) попиксельно и передают в виде 3d-вектора (W*H*4 в случае RGBA)