Если файлы ооочень большие, то чтением всего файла построчно в память и записью в новый файл не справиться!
Используйте модуль mmap. Переместитесь по seek на 5-10 максимально возможных строчек от размера файла, просканируйте строчки, возьмите размер последней строки и обрежте файл через resize.
Таким методом можно работать с любыми размерами файлов и очень быстро делать инплейс редактирование!
https://docs.python.org/3.0/library/mmap.html
В дополнение, если искомая строка для удаления находится не в самом конце файла, то кроме resize нужно еще и использовать move.
Ну и немного примеров здесь
https://pymotw.com/2/mmap/