Проблема с split?

Question

[Apache]

Проблема в том что у меня есть большой словарь, на 645 слов.

Я с помощью проверки

len(list(set(word + mats))) < len(word) + len(mats)

пытаюсь выяснить совпадают слова или нет, но из-за того что в словаре много слов(масло масленое) код всегда выдает True.

Code

# Отрывок из файла config

def obscene_check(word, mats):
	if len(list(set(word + mats))) < len(word) + len(mats):
		return True
	else:
		return False
#Функия в основном коде

def clean_obcenses(msg, name):
    a = open('bad_words.txt').read().split()
    if config.obscene_check(msg, a):
        return True
    else:
        return False

Отрывок из словаря(выдает что 645 слов)

#['6ля', '6лядь', '6лять', 'b3ъeб', 'cock', 'cunt', 'e6aль', 'ebal', 'eblan', 'eбaл', 'eбaть', 'eбyч', 'eбать', 'eбёт', 'eблантий', 'fuck', 'fucker', ....................................... 'блять', 'вафел', 'вафлёр', 'взъебка', 'взьебка', 'взьебывать', 'въеб', 'въебался', 'въебенн', 'въебусь', 'въебывать', 'выблядок', 'выблядыш', 'выеб' ................. 'хуякнуть', 'хуяра', 'хуясе', 'хуячить', 'целка', 'чмо', 'чмошник', 'чмырь', 'шалава', 'шалавой', 'шараёбиться', 'шлюха', 'шлюхой', 'шлюшка', 'ябывает']

Comments

[Алан Гибизов]

у вас слева len(set(word)), а справа - len(word) видимо в этом и дело.

[Apache]

Алан Гибизов, нет. С словарями меньше 21 слова оно работает идеально.

[Алан Гибизов]

igor_89squad, дайте пример словаря и текста, с которыми проблемы.

[Apache]

Алан Гибизов,

Словарь

#['6ля', '6лядь', '6лять', 'b3ъeб', 'cock', 'cunt' .....................................цензура не позволяет отправлять больше.............................................. 'хуйня', 'хуйрик', 'хуище', 'хуля', 'хую', 'хуюл', 'хуя', 'хуяк', 'хуякать,', 'хуякнуть', 'хуяра', 'хуясе', 'хуячить', 'целка', 'чмо', 'чмошник', 'чмырь', 'шалава', 'шалавой', 'шараёбиться', 'шлюха', 'шлюхой', 'шлюшка', 'ябывает']

Текст

Люблю писать на питоне

Первая проверка

len(list(set(word + mats)))
Выводит: 633

Вторая проверка

len(word) + len(mats)
Выводит: 638

Все вместе

if len(list(set(word + mats))) < len(word) + len(mats):
		return True
	else:
		return False

Выводит: True

[Apache]

igor_89squad, Если поменять < на > тогда будет всего False

[Алан Гибизов]

у вас mats - это список?
а word - строка? Как вы их складываете в set(word + mats)? Там должно выдавать ошибку, нельзя складывать строку и список.

[Apache]

Алан Гибизов, строка переделыватся в список. Извините не указал.

[Apache]

igor_89squad, то есть через .split()

[Алан Гибизов]

Вот это у меня работает нормально.

spoiler

import string
mats = """'6ля', '6лядь', '6лять', 'b3ъeб', 'cock', 'cunt', 'e6aль', 'ebal', 'eblan', 'eбaл', 'eбaть', 'eбyч', 'eбать', 
'eбёт', 'eблантий', 'fuck', 'fucker', 'блять', 'вафел', 'вафлёр', 'взъебка', 'взьебка', 'взьебывать', 'въеб', 'въебался', 
'въебенн', 'въебусь', 'въебывать', 'выблядок', 'выблядыш', 'выеб', 'хуякнуть', 'хуяра', 'хуясе', 'хуячить', 'целка', 'чмо', 
'чмошник', 'чмырь', 'шалава', 'шалавой', 'шараёбиться', 'шлюха', 'шлюхой', 'шлюшка', 'ябывает'"""


def make_list_of_words(_string):
    _string = _string.translate(str.maketrans('', '', string.punctuation)).lower()
    return(_string.split(' '))
word_list = ["Люблю писать на питоне питоне!", 'Медведь кричит шлюха']

mats = make_list_of_words(mats)

for word in word_list:
    word = make_list_of_words(word)
    print(word, len(list(set(word + mats))) == len(set(word)) + len(set(mats)))

[Алан Гибизов]

Хотя... стоп. не нормально. Надо справа складывать длины set-ов.

[Apache]

Алан Гибизов, сейчас проверю

[Алан Гибизов]

igor_89squad, поправил, возьмите последний.

[Алан Гибизов]

Следует отметить, что ваш подход не будет работать для склонений и других вариантов - замены букв на похожие, ну и всё такое. Но для начала норм.

[Apache]

Алан Гибизов Такс, если писать по слову тогда все работает отлично, НО если писать маты в тексте, тогда код уже не работает как надо.

[Алан Гибизов]

igor_89squad, у меня в примере слово в тексте, работает. Но нужно точное попадание, с этим много не наловишь.

[Max]

Чёткий словарь

Answer 1

[xmoonlight]

тут

Comments

[Алан Гибизов]

В общем, конечно, изобретать велосипед не здорово.
Но тут, скорее, вопрос в понимании проблемы, в том, чтоб разобраться и научиться.

Впрочем, спасибо! Я и сам думал погуглить что-то готовое.
Интересно, оно будет работать для русского так же хорошо?

Кстати, в русском много словоформ и словообразования, с этим тоже надо разбираться.

[Apache]

Такс. Мне пришлось немножко заморочиться, потому что у меня дискорд бот, но это сработало!!! Спасибо большое.

[Apache]

Алан Гибизов, да для русского работает. Просто главное чтобы сходились слова. И да согласен, было бы круто самому написать все, но и читая форумы находя готовые коды мы тоже учимся понимаем что оказывается так можно.

[xmoonlight]

Алан Гибизов, igor_89squad, про словоформы (правда на PHP; если интересно) я делал: тут

[o5a]

igor_89squad,

Если нужна проверка, что слово содержит любое из частей мата по списку (т.е. подстроку, а не полностью слово), можно сделать просто так:

def obscene_check(word, mats):
	return any(mat in word for mat in mats)

# и собственно замена всех встреченных кусков мата в тексте (sentence) на звездочки
def censor(sentence, mats):
	for mat in mats:
		sentence = sentence.replace(mat, '*'*len(mat))
	return sentence

[Apache]

o5a, у меня дискорд бот. Там не нужно запикивать. Я просто удаляю сообщение человека и отправляю за бота комментарий: "Материться плохо! "
Но спасибо за помощь