Как при помощи powershell сравнить 2 csv файла и записать из разницу в 3-й?

Question

[Z-RoVeR]

Есть 2 csv файла с более чем 3к строк. Структура столбцов у них одинаковая, каждом есть столбцы Name, Surname, Email, Phone и т.д.
Интересует сравнение этих файлов только по столбцу Email и запись не дублирующихся строк в 3-й(желательно с маркировкой в каком файле этот email присутствует, а в каком нет.)
Я очень долго танцевал с Compare-Object, но так и не добился результата. Может что сталкивался с подобной задачей?

Answer 1

[azarij]

if(test-path c:\test\unique_emails.csv){remove-item c:\test\unique_emails.csv -force}
$1csv = Import-Csv C:\test\1.csv -Delimiter "`t"
$2csv = Import-Csv C:\test\2.csv -Delimiter "`t"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -delimiter "`t" -path c:\test\unique_emails.csv -Append}}

1.csv
name email phone
ak [e-mail] 0123456
kb [e-mail] 98543221
akk [e-mail] 0123456
kak [e-mail] 98543221
aak [e-mail] 0123456
kka [e-mail] 98543221
aka [e-mail] 0123456
kakk [e-mail] 98543221

2.csv
name email phone
ak [e-mail] 0123456
kb [e-mail] 98543221
akkk [e-mail] 0123456
kakk [e-mail] 98543221
aakk [e-mail] 0123456
kkak [e-mail] 98543221
akak [e-mail] 0123456
kakkk [e-mail] 98543221

в цсв файлах все разделено табами

Comments

[Z-RoVeR]

Изначально скрипт ругался на пустое значение -Append и я его удалил.
Так же изменил разделители на ";"
Получилось:

if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
$2csv = Import-Csv C:\tmp\mail_new.csv -Delimiter ";"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -delimiter ";" -path c:\tmp\unique_emails.csv}}

В итоге скрипт отрабатывает без ошибок но:
1) Файл "unique_emails.csv" показывает только одну строку с отличием, при чём ту что была последней в файле "mail_old.csv".
2) Все русские имена и фамилии превратились в знаки вопроса.

[azarij]

1 случается из-за отсутствия -append ключа. у него нет значения, он там только для того, чтобы указать команде, что нужно добавлять строки в файл, а не перезаписывать его одной строкой на каждом проходе цикла.
2. попробуйте обновить повершелл до 5.1 ($psversiontable) если он старый. попробуйте ввести ключ -encoding в команду export-csv.

[Z-RoVeR]

azarij, Сделал исправления: добавил -append -encoding и обновил версию ps.

if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
$2csv = Import-Csv C:\tmp\mail_new.csv -Delimiter ";"
foreach ($line in $1csv){if($2csv -notmatch $line.email){$line | export-csv -notypeinformation -encoding unicode -delimiter ";" -path c:\tmp\unique_emails.csv -Append}}

Проблема с Кириллицей решилась, но после добавления ключа -append, другая проблема изменилась. Теперь файл unique_emails.csv точная копия файла "mail_old.csv", даже вес файла в КБ одинаковый.
Верхняя строчка обоих файлов:

"Name";"Surname";"Phone";"DisplayName";"Email"

Не знаю имеет ли значение, но один и тот же email может находится на совершенно разных строчках файлов. Т.е. например [e-mail] может находится на 10 строчке файла "mail_old.csv", а в файле "mail_new.csv" он может находится на 2000-й строчке.

[azarij]

странно. ладно. натравите скрипт на следующие два файла:

1.csv
"name";"email";"phone"
"ak";"[e-mail]";"0123456"
"kb";"[e-mail]";"98543221"
"akk";"[e-mail]";"0123456"
"kak";"[e-mail]";"98543221"
"aak";"[e-mail]";"0123456"
"kka";"[e-mail]";"98543221"
"aka";"[e-mail]";"0123456"
"kakk";"[e-mail]";"98543221"

2.csv
"name";"email";"phone"
"ak";"[e-mail]";"0123456"
"kb";"[e-mail]";"98543221"
"akkk";"[e-mail]";"0123456"
"kakk";"[e-mail]";"98543221"
"aakk";"[e-mail]";"0123456"
"kkak";"[e-mail]";"98543221"
"akak";"[e-mail]";"0123456"
"kakkk";"[e-mail]";"98543221"

в результирующем файле должны быть все строки, кроме тех двух, что совпадают в обоих файлах.
и я бы все таки посмотрел в сторону compare-object. с ним не так сложно разобраться.

[Z-RoVeR]

azarij,
Опять копия первого файла:

"name";"email";"phone"
"ak";"[e-mail]";"0123456"
"kb";"[e-mail]";"98543221"
"akk";"[e-mail]";"0123456"
"kak";"[e-mail]";"98543221"
"aak";"[e-mail]";"0123456"
"kka";"[e-mail]";"98543221"
"aka";"[e-mail]";"0123456"
"kakk";"[e-mail]";"98543221"

с Compare-Object я ковырялся, но так и не заставил его работать.

[azarij]

ладно. а под ковром? ;)

if(test-path c:\tmp\unique_emails.csv){remove-item c:\tmp\unique_emails.csv -force}
$1csv = Import-Csv C:\tmp\mail_old.csv -Delimiter ";"
foreach ($line in $1csv){if((get-content C:\tmp\mail_new.csv -raw) -notmatch $line.email){$line | export-csv -notypeinformation -encoding unicode -delimiter ";" -path c:\tmp\unique_emails.csv -Append}}

[Z-RoVeR]

azarij,
Заработало!
Правда этот скрипт показывает только адреса которое есть в *_old, но нет в *_new.
Придется наверно дублировать скрипт меняя местами файлы чтобы получить 2 списка с полной разницей :)

[azarij]

либо так, либо:

Compare-Object $1csv $2csv -Property email -PassThru (как написали в другом ответе):

PS C:\Users\user> Compare-Object $1csv $2csv -Property email -PassThru

name  email           phone    SideIndicator
----  -----           -----    -------------
akkk  [e-mail]   0123456  =>           
aakk  [e-mail]   0123456  =>           
kkak  [e-mail]   98543221 =>           
akak  [e-mail]   0123456  =>           
kakkk [e-mail] 98543221 =>           
gb    [e-mail]     0123456  <=           
kak   [e-mail]     98543221 <=           
aak   [e-mail]     0123456  <=           
kka   [e-mail]     98543221 <=           
aka   [e-mail]     0123456  <=

[Z-RoVeR]

azarij, Я пробовал этим способом, вывод там небольшой, многих ящиков нет.

Answer 2

[forspamonly2]

compare-object (Import-Csv 1.csv) (Import-Csv 2.csv) -Property "email" -PassThru