Обязательно ли заполнять матрицу с примерами всем словарем возможных слов?

Question

[zaartix]

Решаю типичную задачу из учебника - классификация объектов. В моем случае товары. Выбрал простейший алгоритм NaiveBayes.

php-ml.readthedocs.io

Для начала создаю обучающую матрицу для рубрикатора верхнего уровня, т.е. авто, услуги, одежда и т.д. (без вложенных подрубрик).

Алгоритм действий такой:
Все слова преобразовываются в леммы (базовые формы слов), дальше в идентификатор леммы (айдишник).
После этого, как я понял, нужно создавать матрицу, где строкой является товар (в моем случае), а столбцами - "вес" слова в названии товара (TF-IDF значение). Вопрос как раз про эту часть. Из учебника как я понял, нужно, чтоб строка этой матрицы была размером с весь словарь, т.е. выглядеть будет примерно так

[0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0.4,0,0,0,0,0,0,0.7,0,0,0,1.2,0,0,0]

Т.е. размерность матрицы будет равна: "весь словарь возможных слов" на "количество товаров", т.е. на тестовой выборке из 10 тыс товаров у меня получился словарь уникальных слов размером 15 тыс. Таким образом матрица получается размерностью 15к на 10к.
Так и должно быть? Если да, тогда я не учень понимаю как можно пополнять обучающую базу, ведь если изменится размерность словаря, то придется составлять всю матрицу заново, т.к. ее размерность в ширину должна будет измениться.

При размерности датасета 15к на 10к это нормально, что для обучения отжирается 20гиг памяти?

Answer 1

[Данил]

Размер словоря можно ограничить, взяв топ, например, 5 тыс слов (предварительно отсортировав по "весу").

Существует ряд эвристик, которы так же можно применить:

1. Исключить стоп-слова
   
2. Не включать слова, которые встречаются "реже чем..."
   
3. Не включать слова, которые встречаются "чаще чем..."
   

Рекомендую посмотреть на реализацию TfidfVectorizer от scikit-learn.

Comments

[zaartix]

Спасибо, я в задачке описал, что уже использую его, правда не стал применять эту библиотеку, т.к. словарь лежит в базе. Я считаю TF-IDF по формуле одним запросом к базе, получается существенно быстрее, чем если прогонять эти данные через TfIdfTransformer (как понимаю аналог вашей либы, только встроенный в PHP-ML).

Но спасибо, не подумал про то, что можно исключить слова со слабой "силой".

Но я правильно понимаю, при изменении словаря возможных слов, придется полностью заново составлять датасет и переобучать заново? Нет каких-то методик "пополнения"? Обучение всегда происходит "заново"?

[Данил]

Да, при появлении новых документов, придется обучать заново.

[zaartix]

Данил, Проверил ваше предложение. Исключил из выборки все слова, чей вес меньше, чем AVG по всем товарам, так же исключил все предлоги, союзы и т.д.

В итоге качество распознавания уменьшилось с 0.98 до 0.64. Но самое плохое в том, что на потреблении ресурсов (ЦПУ + память) никак не сказалось ощутимо. Таким образом получается, что нет смысла уменьшать размерность ширины матрицы.

Спасибо за предложенный вариант, но не подходит, увы (

[Данил]

Хммм, давайте посмотрим, что нам предлагает тот же sklearn - три основных эвристики:

1. limit - build a vocabulary that only consider the top max_features ordered by term frequency across the corpus. Мы ограничиваем словарь на заданную длину, отсортировав его по частоте слова во всем корпусе.
   
2. high - When building the vocabulary ignore terms that have a document frequency strictly higher than the given threshold. Исключаем слова, которые встречаются чаще заданного порога во многих документах. Можно рассматривать, как стоп-слова.
   
3. low - ignore terms that have a document frequency strictly lower than the given threshold. Исключаем слова, которые встречаются реже заданного порога во многих документах. К стати, можно указывать, какой процент документов является "во многих документах". Тут нужно быть аккуратным, иначе можно исключить важные слова, которые описывают определенные товары.
   

Основная идея в том, что для классификации товаров алгоритму не нужны слова, которые встречаются одинаково часто во всех описаниях.

Answer 2

[Александр Скуснов]

Есть такое понятие, как разреженная матрица. Запоминаются только ненулевые элементы (с координатами). Можно использовать обычный словарь (ассоциативный список).

Comments

[zaartix]

Спасибо, попробую почитать про такой способ, насколько его возможно применить.

[zaartix]

А насколько это широкая практика, использовать такие матрицы? в документации ничего не нашел про такую возможность.

[Александр Скуснов]

В Матлабе они есть.
А что касается ассоциативных списков (словарей), то обычно ключ (индекс массива) это строка. Но если в качестве ключа брать число (два числа), то получаем обычный разреженный вектор (матрицу).