kdaniel

Согласен с предыдущим пользователем, не делайте вывод файла в консоль. Если будете смотреть в сторону uniq, ее применять вместе с sort, к примеру:

sort bigfile.csv | uniq > bigfile1.csv