Как разбить текстовый файл объемом в 100гб по 2гб и удалить дубликаты строк?

Question

[Chvalov]

Есть текстовый файл объем которого 100ГБ
как его разбить на более мелкие части и удалить дубликаты строк.

Желательно с приоритетом на скорость

Answer 1

[mamkaololosha]

тестовое задание в какую-нибудь школу хайлоада? А потом у нас ракеты падают и курски тонут. unix.stackexchange.com/questions/19641/how-to-remo... или внешняя сортировка

Comments

[Chvalov]

mamkaololosha Почитал забугорные форумы говорят что awk '!seen[$0]++' filename
Будет по быстрее, но я так понял он берет файл и с ним работает перезаписывает.
Можно ли задать так чтобы он отдельно сделал файл, приэтом оригинал оставил целым ?