Добрый день!
У меня есть множество файлов со ссылками (в каждом файле порядка 50к строк), суть в том, что у меня парсер ходит по каждой ссылке, и после того, как он по ней прошел, желательно строку с этой ссылкой из файла удалить, чтобы не мешала. Но единственный алгоритм который я нашел в просторах интернета говорит о том, что весь файл придется выгружать в массив, из массива удалять нужные строки, а затем заново записывать все содержимое массива в файл. Неужели нет другого способа? Дело в том, что у меня в парсере может вылететь очень много различных throw exception, и работа моментально прекратится. То есть, формировать массив во время работы, а в самом конце его записывать в файл не выйдет, нужно на каждой итерации делать перезапись, на что уйдет уйма времени и памяти. Может можно что-то еще придумать?
Заранее благодарю!
Как насчет того, чтобы на первом этапе собрать все ссылки из всех файлов и записать их в БД (например простенькую sqlite), а потом, на втором этапе пробежаться по ссылкам в базе, отмечая в отдельном поле факт обработки?