NLTK.sentiment анализ комментариев как решить ошибку с кодировкой?

Question

[Vadim Nikiforov]

Пытался проанализировать русские комментарии с помощью NLTK’s Pre-Trained Sentiment Analyzer и наткнулся на ошибку с кодировкой. У меня есть и английские комментарии и такая же ошибка. Кто подскажет как исправить?

Код:

nltk.download('vader_lexicon')

def is_positive(comment: str) -> bool:
    """True if comment has positive compound sentiment, False otherwise."""
    return sia.polarity_scores(comment)["compound"] > 0

for comment in russiancomments[:10]:
    print(">", is_positive(comment), comment)

Скриншот ошибки:

Comments

[shurshur]

А comment это точно строка? Может, почему-то получился list?

[Vadim Nikiforov]

shurshur, Привет! Да там лист) Ну или как dictionary key и value. Просто value взял и все. Вчера торопился вот и не понял где ошибка да и вечер уже был))) Теперь уже другая проблема NLTK. sentiment не поддерживает русский язык придется использовать другую библиотеку где уже ML натренирован на русский язык

Код:

sia = SentimentIntensityAnalyzer()

def is_positive(comment: str) -> bool:
    """True if comment has positive compound sentiment, False otherwise."""
    return sia.polarity_scores(comment)["compound"] > 0

for kv_comment in englishcomments[:10]:
    value = kv_comment[2]
    print(">", is_positive(value), value)

[shurshur]

Vadim Nikiforov, да, я тоже пробовал nltk для азербайджанского и там явно поддержка не как у английского. Но мне надо было делить на слова и стемминг, для первого подошло, для второго нашёл другую готовую библиотеку и даже почти не патчил :)