Как ускорить работу скрипта в python?

Question

[werastet]

with open('2.txt', 'r') as file1:
    with open('1.txt', 'r') as file2:
        same = set(file1).intersection(file2)

same.discard('\n')

with open('some_output_file.txt', 'w') as file_out:
    for line in same:
        file_out.write(line)

Comments

[werastet]

Dr. Bacon, файлы по 500 гб и больше

[werastet]

Dr. Bacon, ок спасибо

Answer 1

[Roman K]

Зачем здесь вообще питон?

comm -12 <(sort --parallel=4 1.txt) <(sort --parallel=4 2.txt) > some_output_file.txt

Где 4 - количество ядер / 2 (две сортировки идут одновременно), parallel не может быть больше 8 и является опциональным.

sort умеет не вылезать за пределы ОЗУ (но если нужно жёстко ограничить, то -S 100M например). Если нужно, засовываешь это в питоне через subprocess

Подробнее здесь https://en.m.wikipedia.org/wiki/External_sorting

Comments

[pfg21]

во втором запросе sort должен быть 2.txt ??

[Roman K]

pfg21, точно, очепятка, спасибо