Как найти и вывести повторяющиеся строки в текстовом файле?

Question

[snrt5osp]

Имеется два текстовых файла содержащие строки: file_0.txt и file_1.txt. Количество строк может быть разным. Длина строк может быть разной. Файлы содержат большое количество строк. Необходимо эффективно вывести в другой файл строки, которые содержатся одновременно в двух файлах.
Пример:
Содержимое файла file_0.txt:

file_0.txt

j43j72h531
b2x891ow52
rr35986z77
x77jm9lp7g
q0pprcp52yawc10
wh3h476m2u
e7h0cv6rh5
5l7i700939
l3ri0p8p2f
l1h14no300

Содержимое файла file_1.txt:

file_1.txt

l1h14no300
j2615a2e0y
815555v33h
q0pprcp52yawc10
2vhhh0ugxv
rc2jl8lhdl
79qn640321
b2x891ow52

Необходимое содержимое файла file_2.txt после работы программы/команды:

file_2.txt

b2x891ow52
q0pprcp52yawc10
l1h14no300

Я пытался это сделать с помощью CMD команды findstr но в выводе получал почему-то не все совпадающие строки, хотя их наличие я проверял вручную. На процессоре i5-8400 скорость сравнения 100'000 строк в одном и 100'000 в другом файле меня вполне устраивает: 10-15 секунд.
Подскажите команду CMD/PowerShell или программу, чтобы сделать задуманное.

Comments

[Sergey В.]

Текстовый файл такого формата можно рассматривать как таблицу базы данных. Поэтому достаточно сделать простое desktop приложение (например на c#), которое подключается к этой БД и делает SQL запрос.
На мой взгляд - это будет самое оптимальное по производительности решение.

[snrt5osp]

BasiC2k, Я обычный пользователь, такое мне не под силу(

[Sergey В.]

snrt5osp, найти исполнителя на фрилансе может каждый )

[xotkot]

можете через WSL используя linux утилиты

comm -12 <(sort file_0.txt) <(sort file_1.txt) > file_2.txt

если файлы большие то лучше предварительно отсортировать в отдельные файлы

sort file_0.txt > file_0_sorted.txt
sort file_1.txt > file_1_sorted.txt
comm -12 file_0_sorted.txt file_1_sorted.txt > file_2.txt

еще один вариант:
grep -f file_0.txt file_1.txt > file_2.txt

можно и без WSL, есть кросплатформенный и более продвинутый аналог grep - ripgrep
напрямую стянуть бинарник можно с гитхаба - ripgrep-13.0.0-x86_64-pc-windows-msvc.zip
rg -N -f file_0.txt file_1.txt > file_2.txt

[snrt5osp]

xotkot, попробовал только ripgrep. Сработал быстро и качественно, нашёл все совпадающие строки. Только при проверки файлов весом 12МБ и 10МБ потребление оперативной памяти перевалило за 4ГБ. Боюсь, что если будут файлы больше, то оперативной памяти не хватит( Про Линуксовые инструменты приму к сведению. Спасибо)

[xotkot]

snrt5osp, относительно ripgrep
попробуйте запустить с ключом --no-mmap ( --mmap )
--no-mmap по идее немного упадёт производительность но памяти станет меньше кушать

Answer 1

[MaxKozlov]

Похоже, вам поможет нечто типа того (почти на c#):

$c = [string[]](Get-Content .\0.txt)
$sk1 = [System.Collections.Generic.HashSet[string]]::new($c)
$c = [string[]](Get-Content .\1.txt)
$sk2 = [System.Collections.Generic.HashSet[string]]::new($c)
$sk1.IntersectWith($sk2)
$sk1

на ваших данных выдало то что надо (правда, не сортированное в том же порядке)
Ну и по памяти - всё в память грузится

Answer 2

[Andrew AT]

$f0 = Get-Content -Path C:\tmp\file_0.txt
$f1 = Get-Content -Path C:\tmp\file_1.txt

[system.linq.enumerable]::Intersect([object[]]$f0, [object[]]$f1) | Out-File -FilePath C:\tmp\file_2.txt

Answer 3

[kalapanga]

Я бы на Вашем месте постарался разобраться, что это за строки такие, которые сейчас в результат не попадают. Возможно они не такие уж и одинаковые.
Findstr здесь просится. Тем более, что по скорости устраивает.

Comments

[snrt5osp]

Я пробовал просто создать два небольших файла с разными строками. Потом вручную вставлял в оба файла одинаковые строки в разные места. Потом проверил в Notepad++, что они есть в обоих файлах. findstr не находит где-то 25% от одинаковых строк.
Я это делал такой командой: findstr /x /g:<Путь к первому файлу> <Путь ко второму файлу>
Может нужно как-то по-другому?

[kalapanga]

А попробуйте без /x выполнить (не точное совпадение). Тестовые строчки не появились?
Мне кажется в Ваших строках какие-нибудь символы затесались непечатные или пробелы хвостовые какие.

[snrt5osp]

kalapanga, без /x вывод такой же. В Notepad++ есть функция сортировки строк в случайном порядке. После такой сортировки вывод каждый раз меняется. В файлах есть 8 одинаковых строк. findstr после каждой случайной сортировки выводит каждый раз разное количество строк. От 3 до 8. Бред какой-то.

[kalapanga]

snrt5osp, Понятия не имею, что там такое творится. Чисто из любопытства взглянул бы на эти файлы. Если не трудно выложите куда-нибудь те два файла, для которых выводятся не все нужные строки.

[snrt5osp]

kalapanga, https://drive.google.com/file/d/1IQZB6RhfuW3J3nLMu...

[MaxKozlov]

snrt5osp, Похоже на какую-то багу в findstr. указанная строка прекрасно находится, если всё после неё удалить из первого файла. возможно, у нее размер буфера 8к, например, и не найденная строка попадает на границу

[kalapanga]

snrt5osp, как оказалось, это в принципе известная бага. Я таки нашёл об этом упоминание.
Тут https://ss64.com/nt/findstr.html раздел Bugs
или сразу тут https://stackoverflow.com/questions/8921253/why-do...
20 строк из данных файлов у меня нашлись при использовании ключа /i . Думаю, что в Вашем случае это можно использовать.

Answer 4

[azarij]

а так?

(Compare-Object -ReferenceObject (get-content c:\test\1.txt) -DifferenceObject (get-content c:\test\0.txt) -ExcludeDifferent -IncludeEqual).inputobject | out-file c:\test\2.txt

Comments

[snrt5osp]

Ваше решение работает, находит все строки ,но занимает в 100 раз больше времени, чем findstr :( Откуда может быть такая разница во времени выполнении? Если не смогу разобраться с findstr. буду использовать это решение, спасибо)

[azarij]

... и в ~202 раза медленнее решений от MaxKozlov и Andrew AT. их кунг-фу лучше моего. =)