мультипоточность и только она одна спасет
разбиваем входящий файл на чунки по 2000 записей, к примеру
в каждом блоке прибиваем не нужные строки
записываем каждый чунк в новый файл
проблемы будут с записью в файл. поэтому надо использовать
этот рецепт
дорогу осилит идущий :)