Как сравнить 2 файла grep?

Question

[Сергей]

Есть 2 файла в одному милион записей в другом 500 милионов

оба файла одинаковой структуры но отличаются данными

Семь столбцов расделяемые комой $1,$2,$3,$4,$5,$6,$7
пример

хххххххх, хххххх,хххххх,хххххх,хххххх,ххххх,хх
хххххххх, хххххх,хххххх,хххххх,хххххх,ххххх,хх
хххххххх, хххххх,хххххх,хххххх,хххххх,ххххх,хх

нужно во втором файле найти строки (и вывести всю строку в файл) у которых совпадает $1 и $3 но другой $6
в первойм файле $6=q1 во втором $6=q1-q3
столбец $1 всегда начинается с 9

решение есть но выполнение скрипта = неделя
nano /tmp/comand
#отфильтровал файл 2 убрав значения $6=q1
grep -E "^9.*q2|^9.*q3" /tmp/file2.txt > /tmp/file22.txt
# Преобразование в исполняющий файл с поиском по 1 и 3 столбцу из исходного файла
cat /tmp/file22.txt | awk -F"," '{print "grep -E \"" $1 ".*" $3 ".*q2" "|" $1 ".*" $3 ".*q3" "\"" " /tmp/file1.txt >> /tmp/results.txt"}' > /tmp/comand
#очищення файла
cat /dev/null > /tmp/results.txt
сохраняем с именем /tmp/comand, делаем исполняемым chmod +x /tmp/comand, запускаем ./tmp/comand

помогите сделать быстрее, или раскритикуйте вдребезги мой нубовской подход, прошу толчек в нужном направлении.

P.S. если бы не нужно было вывыодить всю строку из файла 2 проблема думаю решилась бы с помощю
comm -2 file1 file2 > file3 но не факт :)

Comments

[abcd0x00]

нужно во втором файле найти строки (и вывести всю строку в файл) у которых совпадает $1 и $3 но другой $6
в первойм файле $6=q1 во втором $6=q1-q3
столбец $1 всегда начинается с 9

Это не описание, а какая-то ахинея, по которой можно написать сто разных программ.

Приведи лучше уменьшенные исходные файлы (по паре строк каждый) и файл с результатом, который должен из них получиться.

Answer 1

[Saboteur]

на Perl:

#/usr/bin/perl
open(FILE1,"a.txt");
open(FILE2,"b.txt");

foreach $line (<FILE1>) {
 chomp $line;
 ($a, $b, $c, $d, $e, $f, $g)=split(",",$line);
  $array{$a}{$c}=$f;
}

foreach $line (<FILE2>) {
 chomp $line;
 ($a, $b, $c, $d, $e, $f, $g)=split(",",$line);
  if ($array{$a}{$c}!=$f) {
    print "$line, [differs from: $array{$a}{$c}]\n";
  }
}

Укажите первым файлом тот, что поменьше.

Answer 2

[Руслан Федосеев]

первым проходом выделяем из второго файла все строки, в которых есть совпадения по первому столбцу, вторым проходом выделяем совпадения по третьему столбцу, третьим исключаем ненужное по 6-му столбцу.

если можно - примеры файлов по несколько сотен строк дайте мылом, попробую написать

Comments

[Сергей]

Простите не совсем точно обяснил
в 1 файле 1 столбец уникальный таких записей милинон 3й столбец не уникальный на милион уникальных где то 2000(мешать нельзя, и во втором файле есть много записей $1 но с другими $3 и $6)

вот а теперь нужно взять вот это сочетание $1 и $3 найти его в 2 файле и отбросить те где $6=q1 а результат в файл

к сожелению поэтапность тут не поможет(((((

[Сергей]

cat /tmp/file22.txt | awk -F"," '{print "grep -E \"" $1 ".*" $3 ".*q2" "|" $1 ".*" $3 ".*q3" "\"" " /tmp/file1.txt >> /tmp/results.txt"}' > /tmp/comand
эта команда какраз и делает то что вы предложили берет 1 и 3 столбцы из 1 файла и значение для 6 столбца и ищет их в файле 2

[Руслан Федосеев]

это вы так думаете, что не поможет ;)
дайте пример, поколдую...

Answer 3

[Adamos]

Строки с несовпадающим $6 вы уже выкинули.
Перегоняем оба файла в формат $1,$3, отбрасывая прочую информацию и убирая дубли.
Сортируем, находим пересечение этих файлов.
Перегоняем второй в формат $1,$3,$2,$4,$5,$6,$7 и сортируем.
На своем любимом языке программирования открываем этот файл (1) и файл пересечений (2), сравнивая текущую строку в файле (2) с началом текущей строки в файле (1).
Если они совпадают - выводим, переставив столбцы.
Если нет - читаем следующую строку из файла, строка в котором оказалась меньше другого (данные-то отсортированы).
В один проход получаем результат, никаких недель.

Answer 4

[Сергей]

Огромное спасибо за идеи по решению, решил осваивать perl =)
Сергей спасибо вам .... немного почитал переделал и вуаля готово)))

Adamos Руслан Федосеев и вам спасибо применил ваши советы для предварительной подготовки файла к запуску основного скрипта в других его вариациях (не представленно ниже)

Вот такое страшненькое написал, покритикуйте пожалуйста!
#!/usr/bin/perl
# Содержимое файла test1.pl
open(FILE0,"0.txt") || die "Файл 0 не найден!";
open(FILE1,"1.txt") || die "Файл 1 не найден!";
############# записываем файлы в масивы array0\array1 и читаем количество строк n\m
$n=0;
foreach $line0 () {
chomp $line0;
$n=$n+1;
$array0[$n]=$line0;
#print "$array0[$n]\n"
}
#print "$n\n";
$m=0;
foreach $line1 () {
chomp $line1;
$m=$m+1;
$array1[$m]=$line1;
#print "$array1[$m]\n"
}
#print "$m\n";
############# перебираем каждую строку масива array0 и сопоставляем ее с каждой строкой масива array1 если проходит условия if то дозаписываем значение $i масива array1 в $j масива array3
############# для каждого значения масива array0 выводим значения array0 + строки array1 (как масив array3) которые проходят условия
open (rFILE, '>r.txt');
for ($i = 1; $i <= $n; $i++) {
$array3[$i]="";
for ($j = 1; $j <= $m; $j++) {
($a0, $b0, $c0, $d0, $e0)=split(",",$array0[$i]);
($a1, $b1, $c1, $d1, $e1)=split(",",$array1[$j]);
if ($a0==$a1 && $c0==$c1 && $d0!=$d1) {
#print "$array0[$i],$array1[$j]\n";
#print "$a0, $a1\n";
$array3[$i]="$array3[$i], $array1[$j]"
}
}
print rFILE "$array0[$i] $array3[$i]\n";
print "$array0[$i] $array3[$i]\n";
}

Comments

[Saboteur]

а чем не подошел мой вариант с ассоциативными массивами? При использовании ассоциативных массивов, вам не нужно выполнять полный перебор, код выглядит гораздо меньше и более читабельным, ну и вообще быстрее работает, меньше памяти требует.

[Сергей]

Ваш вариант мне очень понравился но он не работал, возможно я не совсем правильно понял как это работает

дело в том что мне нужно сравнить:
есть 2 файла в каждом 5 столбцов
мне нужно взять n-й елемент первого столбца сравнить его со всеми значениями первого столбца втогого файла
если да то тогда сравнить 3 если да то тогда сравнить 4 если нет тогда на печать
if ($a0==$a1 && $c0==$c1 && $d0==$d1) {
print

[Сергей]

Если это можно сделать с помощю "ассоциативными массивами" будет очень круто но вот применил и
х на практике и данные неверные получаю

[Saboteur]

Та были использованы ассоциативные массивы.
То есть вместо числового индекса элемента, я использую значение первого столбца как индекс, и мне не нужно выполнять поиск по всем элементам - само значение элемента и есть индекс, и я сравниваю только 3 и 4 столбец, без поиска элементов.

А не работать оно может, если у вас в первом столбце не уникальные значения, то есть если они могут повторяться. Тогда да, будут перезаписываться и логика нарушается, и мой вариант нужно дорабатывать. Но если ваш код работает, то никаких проблем. Перл полезен чтобы затыкать дырки ), хотя я бы рекомендовал использовать более интуитивно-понятные имена переменных, иначе через 2-3 недели вы сами в нем не разберетесь.

[Сергей]

Да, значения первого столбца не уникальные, болше того они повторяются раз на 5-10 милионов, значения 3 и 5 столбика тоже повторяются но чаще

по поводу названий масивов согласен у меня там коментарии стоят(чтобы не забыть) использую обезличивание потому как нужен скрипт шаблон для 6 похожих задач

[Сергей]

for ($i = 1; $i <= $n; $i++) {
for ($j = 1; $j <= $m; $j++) {
($a0, $b0, $c0, $d0, $e0)=split(",",$array0[$i]);
($a1, $b1, $c1, $d1, $e1)=split(",",$array1[$j]);
if ($a0==$a1 && $c0==$c1 && $d0!=$d1) {
print array1[$j];
}
}

как решить это с помощью ассоциативных массивов?
Добавить в начало порядковый номер строки и использовать его как индификатор строки?

[Сергей]

прочитал мануалы и сделал с помощью ассоциативных массивов, обработка милиарда значений происходит в 4 раза быстрее))))