Как можно разбить строку на слова по всем символам?

Question

[Влад П]

Здравствуйте! У меня есть строка, которую я хочу разбить на слова. В ней присутствуют знаки препинания, и другие символы. Как я понял через .split() можно разделить предложение, используя конкретный символ. Когда я разбиваю строку по пробелу, в ней остаются различные символы по типу точки или запятой.
Мне нужен какой-нибудь простой вариант, для того чтобы их убрать, так как перебирать все символы я не смогу. Пожалуйста помогите

Comments

[shurshur]

Можно использовать метод word_tokenize из библиотеки nltk.

[Алан Гибизов]

Можно сделать replace всего, что не буквы, на пробелы. Потом сделать split по пробелу. Минус - это довольно медленно, в худшем случае может выйти О квадрат. Плюс надо избавляться от парных пробелов.
Регулярки, конечно, круче и всё такое… но как известно, если у вас проблема и вы используете регулярку для ее решения, то у вас две проблемы.

[Steel_Balls]

Алан Гибизов, как быть с названиями каких-либо товаров, где присутствуют буквы и цифры вперемешку?
Например, "Купи мне MP3-плееер i-Bead100" как будет разбито?

[Алан Гибизов]

Steel_Balls, есть варианты. Но в целом зависит от задачи. Вероятно, цифры можно присовокупить к буквам; тире таки отличается от дефиса, хотя бы пробелами.

В пределе можно взять какой-нибудь суперкомбайн типа natasha - он(она?) вам полный разбор сделает; но зависит от задачи опять же.

[EugeneVKruglov]

Вот такую функцию я использую. Дарю!

def extract_alphanum_str(text: str, unique_words = False, min_length = 0, replace_yo = False, remove_duplicated_spaces = True, return_mode = 'text'):
    S = text.replace('\n', ' ').replace(r'\n', ' ').replace('\xa0', ' ')
    S = S.upper()
    if replace_yo:
        S = replace_yo_and_convert_to_uppercase(S)
    temp = ''
    for letter in S:
        item = str(letter)
        if item.isalnum():
            temp += item
        else:
            temp += ' '
    if remove_duplicated_spaces:
        temp_list = remove_duplicated(temp, ' ').split()
    else:
        temp_list = temp.split()
    List = []
    for item in temp_list:
        if len(str(item)) < min_length:
            continue
        if not unique_words:
            List.append(item)
            continue
        if str(item) not in List:
            List.append(item)
    if return_mode == 'text':
        return ' '.join(List) # возвращаем строку
    else:
        return List  # возвращаем список

def remove_duplicated(text, dup:str, strip = True):
    temp = text
    while temp.find(dup + dup) != -1:
        temp = temp.replace(dup + dup, dup)
    if strip:
        return temp.strip(dup)
    return temp

def replace_yo_and_convert_to_uppercase(text):
    # все слова приводятся к UPPERCASE. Все Ё заменяются на Е
    cyr_Yo = 'Ё' # Ё из русского набора
    non_cyr_Yo = 'Ë' # 'Ë' - из латинского набора
    return text.upper().replace(cyr_Yo, 'Е').replace(non_cyr_Yo, 'Е')

Answer 1

[Максим Припадчев]

используй регулярные выражения.
что-то вроде этого.
re.findall(r"\b\w+\b", string)
можно и re.split использовать, при желании.

Comments

[Влад П]

спасибо!