Правильное использование diff?

Question

[Razanyr Tûk]

Добрый день, друзья.

Есть 2 файла в первом (а) файле содержится весь перечень данных, например:
99991111.ini
99992222.ini
99993333.ini
99994444.ini.
И во втором файле (u):
99991111.ini
99993333.ini
(на самом деле в первом файле ~4к строк, во втором ~1.8)
Мне нужно, что из файла а убрались значения, которые есть в файле u,

т.е получиться:
9999222.ini
9999444.ini

Я пытался diff ./a ./u > ./sw.diff , но я, видимо, не понял до конца как работает diff и мне выдало, конечно не тот результат.
Собственно вопрос: можно ли добиться такого результата с помощью diff'a и как?
Или если у вас есть другие предложения - буду очень рад их услышать, спасибо.

Comments

[Damian Lewis]

у вас есть установленный офисный пакет? Я на линь использую WPS офис и там это делается легко

Answer 1

[Adamos]

comm -23 ./a ./u > ./sw.diff

Comments

[xotkot]

только -3
comm -3 ...

[Adamos]

xotkot, а зачем ему две колонки в выводе?

[xotkot]

Adamos, откуда две колонки ?

[Adamos]

xotkot, comm выдает три, ключами убираются ненужные (в данном случае вторая и третья), остается первая - строки, которые есть только в первом файле.

[Razanyr Tûk]

2-е получается

[xotkot]

Adamos, несколько колонок это если не указывать параметры
у меня по крайней мере -3 выводит только одну колонку

п.с.

$ comm --version
comm (GNU coreutils) 8.32
Copyright (C) 2020 Free Software Foundation, Inc.
...

[Razanyr Tûk]

Adamos, но мне нужна разница между 1-м и 2-м файлом, грубо говоря: а минус u

[Adamos]

xotkot,

$man comm
       With  no  options,  produce  three-column  output.  Column one contains
       lines unique to FILE1, column two contains lines unique to  FILE2,  and
       column three contains lines common to both files.

       -1     suppress column 1 (lines unique to FILE1)

       -2     suppress column 2 (lines unique to FILE2)

       -3     suppress column 3 (lines that appear in both files)

[Razanyr Tûk]

на тестах с небольшим кол-вом строк получается, но когда доходит до тысяч - выдает только первый файл (используя -13)

[Adamos]

cptedward_kenway, для первого вам таки нужно -23.
И важно убедиться, что файлы внутри отсортированы. Впрочем, comm на это ругается, если что.

[Adamos]

cptedward_kenway, это же GNU, оно написано правильно, так что ему должен быть безразличен объем файлов. А вот переводы строк по-виндовски могут создать нюансы.

[Razanyr Tûk]

Adamos, я сделал sort | uniq и сделал это уже с отсортированными файлами

[xotkot]

Adamos, вы правы, то просто когда пробовал пример автора в котором нету уникальных для второго файла записей, чего-то подумал про вывод только одного столбца

[xotkot]

Adamos, да, кстати, указание './' думаю здесь уж точно лишнее )

[Adamos]

xotkot, я максимально близко повторил команду ТС, чтобы разница была очевиднее.

[Razanyr Tûk]

Adamos Спасибо за комментарий, в итоге я сделал все через ВПР в экселе.

[Adamos]

cptedward_kenway, это очень дурная привычка - использовать комбайны для очевидных текстовых действий. Бросайте ;)

[Razanyr Tûk]

Adamos, простите, не понял о чем вы, что такое "комбайны"?

[Adamos]

cptedward_kenway, Ёксель - комбайн, а не инструмент. Привычка работать с комбайнами обычно приводит к ситуации, когда под них нагибается вся работа, и о гибкости приходится забыть вовсе.

Answer 2

[Zzzz9]

cat a.txt
99991111.ini
99992222.ini
99993333.ini
99994444.ini
 
cat u.txt
99991111.ini
99993333.ini

diff a.txt u.txt |awk '{if(!/^</)next}{print $2}'
99992222.ini
99994444.ini

Comments

[Razanyr Tûk]

данный код не срабатывает, т.к diff выдает просто файл а.txt

[Zzzz9]

давай файлы, может, что поменять нужно.

[Zzzz9]

У меня находит различия. Если просто файл a.txt значит нет вхождений u.txt, может у тебя доп символы присутствуют

[Razanyr Tûk]

Zzzz9, к великому сожалению не могу предоставить файлы, т.к они из фин. сферы, они не являются ценной информацией, но ИБ по голове не погладит, пытался создать похожие по логике названия файлы, но чет такое.

если через vim смотерть, то там есть лишние знаки типа "<"feff">".
этот знак появился после sort | uniq т.е отсортировал файл, и появился этот флаг.

[xotkot]

если делать через awk то лучше наверное так:

diff a.txt u.txt | awk '$1=="<"{print substr($0,3)}'

мы же наверняка не знаем есть ли в названиях файлов(??) пробелы, поэтому просто обрезаем начальные символы, а не выводим вторую($2) колонку.

[xotkot]

cptedward_kenway, если подразумевается работа с виндовымы/яблочными текстовыми данными то нужно предварительно привести их к юникосовому формату с помощью dos2unix/mac2unix, если нужно обратно то unix2dos/unix2mac.

[Zzzz9]

Он предложил шаблон, я не стремился к универсальности. И еще не будут появляться имена, которые есть в u.txt и нет a.txt, не знаю нужно ли ему это. Лучше посоветуй как ему убрать неразрывный пробел нулевой ширины FEFF

[xotkot]

Zzzz9,

Лучше посоветуй как ему убрать неразрывный пробел нулевой ширины FEFF

думаю самое простое удалить через редактор кода где видно все эти символы, вот кстати статья по этому поводу на хабре - Текст, которого нет

[Razanyr Tûk]

xotkot, спасибо за совет с конвертацией кодировки, я правда сам допер, не заметил ваш комментарий)
Zzzz9 Спасибо за комментарий, в итоге я сделал все через ВПР в экселе.