Как сравнить генератор со списком?

Question

[Mister_Mad]

import itertools
sCharacters = "abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789"

def combinations():
    for iCombinationLength in range(0, 1+1):
        for aCombination in itertools.product(sCharacters, repeat=iCombinationLength):
            word = ''.join(aCombination)
            yield word

f = open('words.txt', 'r+')
combine_words= combinations()
Lines = f.readlines()
f.seek(0,0)
#удалить перенос строки, если х!= None
Lambda_line = lambda x: x.replace('\n','') if x != None else ''
for words, line in itertools.zip_longest(combine_words, Lines):
    if words!= Lambda_line(line):
        print(Lambda_line(line)+'  ' + words)

combine_words - генератор
Lines - список

Данный код сравнивает один символ из combine_words с одной строкой в Lines

как в цикле сравнить каждый каждый элемент из генератора combine_words в списке Lines, и вывести только те элементы, которых нет в Lines?

Comments

[Алан Гибизов]

Замечу в скобках:
Так

Lambda_line = lambda x: x.replace('\n','') if x != None else ''

рекомендуют не делать и в документации, и большинство гуру.
Делайте обычную функцию.

[Алан Гибизов]

Я бы попросил упростить ваш пример до простого, примитивного примера, без открытия файлов и без прочих излишеств. Генератор, список, ваша функция сравнения.

[Mister_Mad]

Алан Гибизов, сравнение не работает корректно, одно слово из генератора сравнивается с одним словом со списка. Как каждый элемент из генератора сравнивать со всем списком?

[shurshur]

Mister_Mad, может быть, проще использовать множества и их вычитания?

Например: set([1,2,3,4])-set([4,5,6])

[Mister_Mad]

shurshur, все бы хорошо, только combine_words - генератор

[shurshur]

Mister_Mad, если не хочется все значения генератора загнать в множество (путём явного приведения), тогда, конечно, придётся писать цикл, примерно такой:

for item in combinations():
    if item not in lines:
        print (item)

Если надо не просто "вывести", а дальше использовать, то либо его тоже придётся загрузить в память (а, скорее всего, combine_words минус lines будет почти таким же огромным, как combine_words), то его можно также сделать генератором:

def combinations_not_in_lines(lines):
    for item in combinations():
        if item not in lines:
            yield item

for item in combinations_not_in_lines(some_lines):
    ...

[MinTnt]

Lines = f.readlines()
f.seek(0,0)
#удалить перенос строки, если х!= None
Lambda_line = lambda x: x.replace('\n','') if x != None else ''

easier way
|
v
Lines = f.read().splitlines()

[Mister_Mad]

shurshur, это именно то что нужно :)

Answer 1

[Алан Гибизов]

В общем случае можно проделать всякие логические штуки с множествами:

def my_generator(number):
    while number > 0:
        yield number
        number -= 1
        
gen = my_generator(5)  # теперь в gen генератор от 1 до 5
my_list = [0, 1, 3, 5]
print(type(gen))
set_gen = set(gen) # разворачиваем генератор в множество (если, конечно, влезет)
set_my_list = set(my_list)
print(f'gen {set_gen}')
print(f'list{set_my_list}')
print(set_gen - set_my_list)
print(set_my_list - set_gen)
print(set_gen & set_my_list)
print(set_my_list & set_gen)
print(set_gen | set_my_list)
print(set_my_list | set_gen)

Comments

[Mister_Mad]

что делать в случае, если придется перебирать не пару десяток строчек, а гигабайты, никакого множества не хватит

[Алан Гибизов]

Mister_Mad, рекомендую уточнить это в вопросе. По-умолчанию я не рассматриваю чрезмерные объёмы, если о них явно не сказано в вопросе. Впрочем, я об этом упомянул в предложенном решении.

Быстрого способа я не знаю. Медленный - можно использовать in.
Что-то вроде

new_list = []
for i in my_generator:
    if i not in my_list:
        new_list.append(i)

Но будет очень долго.

Можно попробовать есть слона по частям.

Ещё можно внимательно изучить встроенные в python модули itertools, bisect, collections, возможно в них найдётся что-нибудь полезное.