Как удалить дубли во всех файлах в папке?

Question

[Сергей Программист 1С]

поставил на винду Cygwin, удаляю дубли строк в файле так
$ awk '!x[$0]++' 1233.txt > 1233-i.txt
или
$ cat 123.txt | sort | uniq > 1233-i.txt
все работает
но теперь хочу чтобы все текстовые файлы в папке были обработаны:
$ find . -name "*.txt" -exec cat {}\; | sort {}\; | uniq {}\; > 12345.txt

такой файнд не работает, подскажите как все файлы обработать? в линуксе дуб

Answer 1

[Валерий Рябошапко]

Можно просто пройтись циклом по всем файлам в текущей папке.

for i in *.txt; do sort $i | uniq > $i-sorted; done

Comments

[Сергей Программист 1С]

Спасибо работает, еще бы if вставить чтобы только текстовые отбирал, ну это ладно, спасибо!

[Валерий Рябошапко]

spetrov: поправил так, чтобы фильтровались только файлы с расширением .txt

[Сергей Программист 1С]

Валерий Рябошапко: спасибо!

[Максим Терентьев]

for i in *.txt ; do

[Валерий Рябошапко]

Максим Терентьев: огромное спасибо! Жаль, что раньше этого не знал :-) Особенно круто, что это решает проблему с пробелами в имени файла.

Answer 2

[Azazel PW]

ищи команду
uniq

Comments

[Сергей Программист 1С]

в смысле юник сначала сделать а потом файлы искать?

[Azazel PW]

spetrov: да попробуйте сначало сделать uniq.

[Azazel PW]

spetrov: grep * | cat *.txt| uniq -u

Answer 3

[Максим Терентьев]

fdupes сравнение по содержимому