Как разделить строку на слова с учетом различных алфавитов текста?

Question

[cfmm]

Имеется строка текста, слова в которой могут принадлежать различным алфавитам (латинскому, русскому, испанскому и т.д.). Слова могут разделяться как пробелами так и знаками пунктуации, переводами строки и т.п.

Как разбить такую строку на слова?

Пробовал использовать регулярное выражение /\b(\S+)\b/g , но оно корректно работает только с латинским алфавитом.

Answer 1

[ProjectSoft]

Не нужно искать сами слова. Достаточно исключить символы
https://regex101.com/r/FBQ4aZ/1
Добавить свои знаки препинания, которые нужно исключить

Answer 2

[xmoonlight]

кодировка строки для regex = кодировке страницы?
var re = new RegExp('\b(\S+)\b', 'ug');

Comments

[cfmm]

не обязательно, но в большинстве случаев - да

[xmoonlight]

cfmm: Вот там, где не равна, там скорее всего и не работает.