Возможна ли проверка наличия слова в Python по первым буквам?

Question

[Fantaz242020]

есть список слов наличие которых будет проверяться, в предложении надо найти это слово по корню так как окончания изменяются
. как это сделать!

Comments

[igor6130]

Да, это возможно. Но как пробовали вы? Покажите код попытки.

[d'Ivan]

найти это слово по корню

Для какого языка?

[d'Ivan]

А, вообще, речь, случайно, не о поисковых движках?

[Виктор Голованенко]

Román Mirilaczvili, для Python. Модератор удалил тег Python из вопроса.

[d'Ivan]

Виктор Голованенко, я об обработке естественного языка спрашиваю, а не о языке программирования.
Кроме того, если речь о поисковых движках, то решение может быть другим.

Answer 1

[Виктор Голованенко]

Можно сначала разбить предложение на токены, затем отбросить окончания всех искомых слов и токенов предложения посредством стемминга, и в конечном счёте пересечь полученные множества слов. Для этого можно применить NLTK:

from nltk.tokenize import word_tokenize
from nltk.stem import SnowballStemmer

# Список искомых слов
word_list = ['шалаши', 'инжир']
# Предложение для поиска
sentence = 'В шалаше шуршит шелками желтый дервиш из Алжира и, жонглируя ножами, штуку кушает инжира.'

# Разделить предложение на отдельные слова — токены
tokens = word_tokenize(sentence, language='russian')

snowball = SnowballStemmer(language='russian')
# Отбросить окончания слов предложения и слов из списка, после чего пересечь множества
stems_found = set(map(snowball.stem, tokens)) & set(map(snowball.stem, word_list))

print(stems_found)

Результат выполнения:
{'инжир', 'шалаш'}

Если вам будет недостаточно стемминга, то примените лемматизацию. Лемматизация для русского языка есть в pymorhpy2.

Comments

[Fantaz242020]

А какая библиотека используеться?

[Виктор Голованенко]

Fantaz242020, NLTK.
https://www.nltk.org/install.html

[EugeneVKruglov]

Гораздо проще список искомых слов изначально сделать таким, чтобы он содержал только нужные корни или другие части слов. А потом уже искать эти корни в тексте.

[Виктор Голованенко]

EugeneVKruglov, да, проще. Но это невозможно сделать, если он динамический. А динамический ли этот список, в вопросе не сказано.

Answer 2

[Iscrenniy]

Можно попробовать так:

test = 'Стандартное интересное предложение со словами и буквами. Тестируем Тестим'
a = test.split(' ')
for i in a:
    if 'Тест' in i:
        print(i)

Comments

[niickzoff]

2utm, насколько я знаю сплит изначально делит по буквам. если не прописать " ", то оно строку "hello world" сделает как список ["h", "e", "l", "l", "o", " ", "w", "o", "r", "l", "d"]

[Модератор]

Фрагменты кода надо размещать в виде текста и оборачивать тэгом code для корректного отображения. Удобно делать кнопкой </>
Это обязательно, см.п.3.8 Регламента.
Сюда же относится traceback, ввод и вывод в консоли и другая структурированная текстовая инфа.

[Elvis]

Зачем цикл если можно сразу

test = 'Стандартное интересное предложение со словами и буквами. Тестируем Тестим'
if 'Тест' in test:
    print(i)

[Iscrenniy]

Elvis, Пробуйте запустить. У программы нет переменной 'i' и выдаст просто ошибку.

[Elvis]

Iscrenniy, простите, с телефона копировал код. Конечно там должно быть так для примера

test = 'Стандартное интересное предложение со словами и буквами. Тестируем Тестим'
if 'Тест' in test:
    pass

Answer 3

[Elvis]

Направление - str.startswith