Вывести в bash только дубликаты строк из файлов?

Question

[HexUserHex]

Здраствуйте,
требуется вывести из двух файлов только строки которые имеются в обоих файлах

Пример содержимого файлов:

cat 1.txt 
11
22
33
33

cat 2.txt 
33
11
44

вот как пробую, в результате получаю только 33, в каталоге содержится только два .txt файла:
cat *.txt | uniq -d
33

подскажите что пропустил....

Answer 1

[User]

подскажите что пропустил

sort?

$ cat *.txt | uniq -d
33
$ cat *.txt | sort | uniq -d
11
33

Можно ещё comm -12 <(sort 1.txt) <(sort 2.txt)

Comments

[Сергей П]

Первый вариант некорректен, поскольку при наличии дублей лишь в одном файле на выход этот дубль все равно пройдёт.
Второй вариант сработает верно

[HexUserHex]

Сергей Паньков, Спасибо)

Answer 2

[Saboteur]

sort <(sort -u 1.txt) <(sort -u 2.txt) |uniq -d

Comments

[HexUserHex]

Спасибо!

[Сергей П]

Это решение некорректно. Строки смешиваются и не понятно откуда дубль, из одного файла или из разных. юбые дублирующиеся строки попадут в результат.
Логично было бы перед сортировкой отсеять дубли в каждом файле, а потом уже искать дубли в объединенных последовательностях

[Saboteur]

Сергей Паньков, почему некорректно?
1. Вы точно прочитали вопрос топикстартера?
2. Непонятно почему вы считаете что ответ некорректен уже после того, как ТОПИКСТАРТЕР, который ставил задачу сказал что все правильно
3. Строки не смешиваются. Задача - вывести строки, которые есть И там И там. Какая разница в каком порядке следуют ОДИНАКОВЫЕ строки?

[Сергей П]

Saboteur,
1. да, точно прочитал и даже протестировал.
2. на этом примере ваш вариант работает, но формально постановке задачи не соответствует. Топикстартер может ошибаться. Любой может ошибаться. И я в том числе. Если я ошибаюсь, покажите где и докажите как я сейчас покажу вашу ошибку в вашем решении. Ничего плохого в ошибках нет, если их исправлять.
3. Вы не поняли суть моей претензии.
Смотрите:

cat 1.txt 
11
22
33
33
55
55

cat 2.txt 
33
11
44

На этом примере строка 55 в двух экземпоярах есть в первом файле. Из-за того, что она там встречается дважды (а такое вполне может быть, о чем свидетельствует 33), 55 будет выдана в числе прочих вашим первым методом. А 55 нет во втором файле.

Убедил?

[Saboteur]

нет, у меня все работает

[Сергей П]

нет, у меня все работает

Saboteur, вы не правы.
Вот задача:

требуется вывести из двух файлов только строки которые имеются в обоих файлах

Вот код, который содаёт два файла. Строки "55" есть только в 1 файле, а во втором нет.
Решение с конкатенацией и общей сортировкой выдаст строку 55, а не должно.

cat << EOF > 1
11
22
33
33
55
55
EOF

cat << EOF > 2
33
11
44
EOF

cat 1 2 | sort | uniq -d

Результат:

11
33
55

[Saboteur]

Сергей Паньков, так ваше решение не работает, а мое работает.

[Сергей П]

Saboteur, какое это мое? Это не моё. Ок. Я увидел ваше решение с тремя сортировками. Оно действительно работает. Мы видимо не поняли друг друга. Я имел в виду, что решения с двумя сортировками недостаточно.
Однако предложенное решение с comm очевидно эффективнее.

Answer 3

[Сергей П]

Я бы предложил еще решение вроде такого:
py "set(open('1'))&set(open('2'))"
Но это уже скорее на питоне решение, а py в стандартном наборе не посавляется из коробки.
Кроме того, это решение не эффективно при больших файлах.