7.8кк ссылок во множестве — это чуть больше 1гб:
In [1]: s = {f"https://something.asdfqwerasdfasfgqwefasdfasdf/{i}" for i in range(7748982)}
In [2]: import sys
In [3]: sys.getsizeof(s)
Out[3]: 268435680
In [4]: sum(sys.getsizeof(x) for x in s)
Out[4]: 797034036
Из первого файла читаешь множество ссылок:
all_urls = set(open("lots.txt").read().splitlines())
Так же читаешь то, что уже сделано:
done = set(open('nohup.txt').read().splitlines())
Пишешь разницу в файл:
with open("upd_lots.txt", "w") as ul:
for url in all_urls - done:
ul.write(url + '\n')
На всё надо не более 3гб оперативки