Как удалить некоторые строки из файла?

Question

[Аля]

У меня есть текстовый файл в котором более 1,1 миллиарда строк и есть список в котором хранятся номера строк, которые мне не нужны (их около 100 млн)
Как наименее затратно по времени удалить ненужные строки или создать новый файл в который перенести все строки кроме тех. которые мне не нужны?
Самый простой способ это сделать вот так

with open(output_file, 'a') as fan:
    other_file = open('ALL.txt', 'r')
    for i, line in enumerate(other_file):
        if i not in edit_points:
            fan.write(line)

где other_file - это файл с миллиардом строк, а edit_points - это список в котором ненужные строки
но это очень медленно

Comments

[BitNeBolt]

Если это вся программа, то её можно переписать на более производительный ЯП.

[Аля]

Biba_neBoba, это все что нужно от этой части программы
нужно именно на питоне

[Animkim]

А строки совершенно случайно не одной длины?)
Операция единоразовая или такое нужно делать постоянно?

[Аля]

Animkim, строки разные, но все состоят из 1-го слова
только 1 файл обработать на 25 гб

Answer 1

[Владимир]

мультипоточность и только она одна спасет
разбиваем входящий файл на чунки по 2000 записей, к примеру
в каждом блоке прибиваем не нужные строки
записываем каждый чунк в новый файл
проблемы будут с записью в файл. поэтому надо использовать этот рецепт
дорогу осилит идущий :)