Как определить язык написанного сообщения на discord.js?

Question

[kopatych3756]

Здравствуйте. Мне нужна помощь по discord боту на JavaScript. Мне нужно определить язык/и написанного сообщения пользователя. То есть человек отправляет сообщение(например: "привет hello") и бот должен определить язык/и и отправить сообщение("это русское слово, это английское слово")

Answer 1

[shurshur]

Если надо определять язык текста, то смотреть в сторону language identification, например, есть библиотека fasttext, и вот есть первый попавшийся пример реализации на js https://github.com/rse/fasttext-lid (но в гугле я видел и другие, не знаю, какая будет лучше).

Если надо определять язык конкретных слов, то может быть интересно использовать стеммеры под нужные языки и затем проверять наличие слова в словаре для этого языка. Либо перебирать весь словарь с учётом расстояния Левенштейна либо другой текстовой метрики.

В общем, это не самая тривиальная задача.

Comments

[shurshur]

Да, если задача определять только для русского и английского языка, то всё гораздо проще: алфавиты языков не пересекаются, и можно просто считать число русских и английских букв в словах и относить к тому языку, буквы которого использваны в слове, например, минимум на 60%.

[kopatych3756]

shurshur, А можно последнее по подробнее?(где русский и английский только)

[shurshur]

kopatych3756, делим текст на слова. По каждому слову пробегаемся и считаем число букв:

входящие в А...Яа...я - русские
входящие в A...Za...z - латинские

% русских букв = число русских букв / число всех букв
% латинских букв = число латинских букв / число всех букв

Получаем по каждому слову % русских и латинских букв. Каких больше - такое и слово (ну, отдельно решить, как реагировать на крайние случаи, например, когда 50%/50%, или когда в "слове" есть символы, не относящиеся ни к русским, ник латинским).

Answer 2

[Антон Шаманов]

"привет hello" а это какой язык? )) если нужно определять содержит ли строка текст русский, то text.test(/[а-яА-Я]+/)