Как можно разбить строку на слова по всем символам?

Question

[Влад П]

Здравствуйте! У меня есть строка, которую я хочу разбить на слова. В ней присутствуют знаки препинания, и другие символы. Как я понял через .split() можно разделить предложение, используя конкретный символ. Когда я разбиваю строку по пробелу, в ней остаются различные символы по типу точки или запятой.
Мне нужен какой-нибудь простой вариант, для того чтобы их убрать, так как перебирать все символы я не смогу. Пожалуйста помогите

Comments

[shurshur]

Можно использовать метод word_tokenize из библиотеки nltk.

[Алан Гибизов]

Можно сделать replace всего, что не буквы, на пробелы. Потом сделать split по пробелу. Минус - это довольно медленно, в худшем случае может выйти О квадрат. Плюс надо избавляться от парных пробелов.
Регулярки, конечно, круче и всё такое… но как известно, если у вас проблема и вы используете регулярку для ее решения, то у вас две проблемы.

[Steel_Balls]

Алан Гибизов, как быть с названиями каких-либо товаров, где присутствуют буквы и цифры вперемешку?
Например, "Купи мне MP3-плееер i-Bead100" как будет разбито?

[Алан Гибизов]

Steel_Balls, есть варианты. Но в целом зависит от задачи. Вероятно, цифры можно присовокупить к буквам; тире таки отличается от дефиса, хотя бы пробелами.

В пределе можно взять какой-нибудь суперкомбайн типа natasha - он(она?) вам полный разбор сделает; но зависит от задачи опять же.

Answer 1

[Максим Припадчев]

используй регулярные выражения.
что-то вроде этого.
re.findall(r"\b\w+\b", string)
можно и re.split использовать, при желании.

Comments

[Влад П]

спасибо!