Если записи можно отсортировать попробуйте
comm:
comm -2 -3 <(sort a.txt) <(sort b.txt)
Есть файл a.txt в нем 10 миллионов записей
Есть файл b.txt в нем 100 миллионов записей
Каждая запись с новой строки.
Задача a.txt минус b.txt
...
должно было получиться 90 миллионов записей.
У вас или количество строк в файлах перепутано, или b.txt - a.txt. В существующей постановке не может получиться больше 10 млн. записей в результате.