Где взять список хороших и плохих слов?

Question

[Сергей]

Нужен список слов для анализа мнений, хороших и плохих, где взять? К примеру "кот ужасен" слово ужасен должно быть в списке. Или котик няшка - няшка - в списке хороших. Вот где можно взять эти списки? И как быть с матом? Ведь х%ево и ох%енно не одно и то же, поэтому тупо добавить список мата нельзя, надо и его бы разбить, есть где разбитый?

Answer 1

[Максим Васильев]

распарсить кучу отзывов, где оценки выставлены вручную и есть текст (flamp, google play market)

взять все слова из текста отзыва, отбросить окончания и каждое слово использовать как бинарное входное значение для логистической регрессии, например.
ну или нейросеть замутить, чтобы сочетания роляли.

Answer 2

[xandox]

либо купить (честно говоря, даде не знаю от куда начать поиски продавцов), либо самомоу разметить, либо отдать разметку на оутсорс.

Answer 3

[Артём Каретников]

поискать словари синонимов и по ним прогнать потом свой набор? Знаю как минимум одного разработчика, у которого такие словари есть уже в виде базы - solarix, сверх того - и погуглить можно. :)

Answer 4

[Stan_1]

Я таким пытался заморочить, смотрел англоязычные API для определения эмоциональности поста, пытался их прикрутить к одному Интернет-магазину. Но увы, чаще всего, комментарий выглядел как "Идея мне очень нравится, свежо и оригинально, но реализация - фигня". То есть по сути, хотя отзыв отрицательный, алгоритмы их считают положительными, поскольку положительных слов больше. В итоге плюнул, так и не сделал.

Comments

[Артём Каретников]

А почему вы считаете, коллега, что это отрицательный отзыв? Я его тоже больше положительным вижу - идея хороша, все здорово - конкретно реализовано как фигня, ну явно напрашивается, что "переделайте, будет лучше". Позитив.

[Stan_1]

Ну... по жизни я уже много лет в разговорах четко делю форму и содержание. Например, "Ты хороший человек, Вася" - это позитивная по форме и содержанию фраза. "Хороший ты человек Вася, но дурак" - это позитивная по форме, но негативная по содержанию фраза, иначе бы она была как в первом случае. "Ты дурак, Вася" - фраза негативная по форме и содержанию. Для меня фраза, пример которой я привел - позитивная по форме, но однозначно негативная по содержанию. При этом форма цены не имеет, имеет всегда содержание. :)