Два больших файла, как быстро grepнуть?

Question

[j_bush]

Есть 2 файла, один на 10кк строк другой на 174кк, надо извлечь быстро из 174кк эти 10кк =). Использовал grep -vFf но крайне медленно =(. Вроде есть параметр -x, но так и не понял суть его работы.

Answer 1

[jcmvbkbc]

Если порядок записей не важен, то
comm -2 -3 <(sort big-file) <(sort small-file) > big-file-small-file

Comments

[j_bush]

из большого вырежит список маленького так?

[jcmvbkbc]

Да. Единственное условие -- строки в файлах должны совпадать полностью.

[j_bush]

спасибо отработало, с погрешностью в 1кк но это нормально =).

Answer 2

[Swartalf]

"извлечь" это удалить из одного файла строки которые есть во втором или просто выбрать и отобразить?

Comments

[j_bush]

удалить =), думаю ключь -v решит, а вто что дальше (.

[Swartalf]

ну если просто удалить строи из файла, то я бы попробовал через sed.
что то вроде такого однострочника:
for i in `cat file1`; do sed "/${i}/d" -i file2 ;done
грубо конечно, но первое что приходит в голову

[j_bush]

Swartalf: спасибо, вечером опробую.

[Swartalf]

пожалуйста, но будте акуратны, если в троках попадутся кавычки или другие спец-символы, то команда может сломаться.
вообщем эксперементируйте