Как запустить в процесс два файла одновременно?

Question

[wolverine777]

Привет, давеча мне помогли с пониманием того как проскриптить запуск всех файлов (модулем fastqc) что лежат в папке один за другим, предположим в папке /home/blabla/files/ лежат file1.fastq, file2.fastq, file3.fastq и т.д.

всего что есть в папке одно за другим - вот таким образом

for file in $(find /home/blabla/files/ -name '*.fastq')
do
        fastqc "$file" -o /home/blabla/FastQC_out
done

А как быть если мне нужно проскриптить ПАРНЫЙ запуск (не знаю, так говорят вообще?) файлов? Например

java -jar trimmomatic-0.39.jar PE -phred33 \ 
/home/blabla/files/file1.fastq /home/blabla/files/file2.fastq 
output-file1-FOR.fastq \
output-file1-REV.fastq \
output-file2-FOR.fastq \
output-file2-REV.fastq \
ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

java -jar trimmomatic-0.39.jar PE -phred33и

ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

- это проги с их аргументами, которыми, собственно, обрабатываются file1 и file2.

output-FOR и output-REV - это выходные файлы с результатом (по 2 на кажный входной файл)

Загвоздка лишь в том что они обязательно должны обрабатываться в паре.

Comments

[сергей кузьмин]

wolverine777

ду(?:плe|э)том значит хотите ?

ищите самц (напр FOR) и вычисляйте имя его пары и игнорируйте ошибки если пары нету (или обрабатывайте = наваш вкус

Answer 1

[Saboteur]

А если в папке будет лежать

file1
file3
file4
file5

или

file1
file10
file2
file3

У вас пары не поломаются?

Уточните требования к задаче - вам нужно просто выполнить команду с любыми двумя файлами, или эти файлы каким-то образом связаны и эту связь можно описать алгоритмом?

просто по два файла можно замутить через find | xargs
или в цикле сделать через условие отбор файлов

но вот гарантировать связь конкретных файлов - это уже другая задача

Comments

[wolverine777]

Спасибо за ответ!

Нет, файлы обязательно пронумерованы (на предыдущем этапе) примерно так вот:

file_1_A
file_1_B
file_2_A
file_2_B

и т.д.

Анализ, соответственно, можно провести только с парой файлов file_1_A и file_1_B

Собственно, можно по очереди вставлять в скрипт следующее

java -jar trimmomatic-0.39.jar PE -phred33 \ 
file_1_A.fastq \ # если запускать скрипт прямо из папки где лежат эти файлы 
file_1_B.fastq \
output-file_1_A-FOR.fastq \
output-file_1_A-REV.fastq \
output-file_1_B-FOR.fastq \
output-file_1_B-REV.fastq \
ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

java -jar trimmomatic-0.39.jar PE -phred33 \ 
file_2_A.fastq \  
file_2_B.fastq \
output-file_2_A-FOR.fastq \
output-file_2_A-REV.fastq \
output-file_2_B-FOR.fastq \
output-file_2_B-REV.fastq \
ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

..и так далее...
в принципе, не смертельно. Это все можно делать и вручную (обычно этих "входящих" файлов не так уж много) - но может есть идеи как это можно "зациклить"?

[iddqda]

может как то так?

iddqd@iddqd:~$for i in `seq 5`; do echo file_${i}_A.fastq file_${i}_B.fastq; done
file_1_A.fastq file_1_B.fastq
file_2_A.fastq file_2_B.fastq
file_3_A.fastq file_3_B.fastq
file_4_A.fastq file_4_B.fastq
file_5_A.fastq file_5_B.fastq

[Saboteur]

Либо проблема настолько простая, что мы все удивляемся в чем собственно проблема, либо мы чего-то непонимаем, потому что вы не договариваете какой-то нюанс.

Если файлов не очень много, то было бы проще, если вы скинете весь список настоящих имен файлов, или хотя бы достаточную часть, чтобы увидеть все варианты.

[wolverine777]

Saboteur, вот и сами файлы. Просто мне хотелось не усложнять но видимо так легче )

HI.3923.001.Index_2.1BD6B_R1.fastq.gz
HI.3923.001.Index_2.1BD6B_R2.fastq.gz

HI.3923.001.Index_3.3BD6A_R1.fastq.gz
HI.3923.001.Index_3.3BD6A_R2.fastq.gz

HI.3923.001.Index_4.2BD1_R1.fastq.gz
HI.3923.001.Index_4.2BD1_R2.fastq.gz

HI.3923.001.Index_5.4BD6B_R1.fastq.gz
HI.3923.001.Index_5.4BD6B_R2.fastq.gz

HI.3923.001.Index_6.2BD6A_R1.fastq.gz
HI.3923.001.Index_6.2BD6A_R2.fastq.gz

HI.3923.001.Index_7.2ND6A_R1.fastq.gz
HI.3923.001.Index_7.2ND6A_R2.fastq.gz

HI.3923.001.Index_8.1ND1s_R1.fastq.gz
HI.3923.001.Index_8.1ND1s_R2.fastq.gz

HI.3923.001.Index_9.2ND1s_R1.fastq.gz
HI.3923.001.Index_9.2ND1s_R2.fastq.gz

HI.3923.001.Index_10.1ND6Bs_R1.fastq.gz
HI.3923.001.Index_10.1ND6Bs_R2.fastq.gz

HI.3923.001.Index_11.2ND6Bs_R1.fastq.gz
HI.3923.001.Index_11.2ND6Bs_R2.fastq.gz

HI.3923.001.Index_12.1ND6As_R1.fastq.gz
HI.3923.001.Index_12.1ND6As_R2.fastq.gz

Соответственно "на сегодняшний день" сам скрипт представляет из себя следующее:

java -jar trimmomatic-0.39.jar PE -phred33 \ 
HI.3923.001.Index_2.1BD6B_R1.fastq.gz \
HI.3923.001.Index_2.1BD6B_R2.fastq.gz \
/home/blabla/Output_files/FOR/HI.3923.001.Index_2.1BD6B_R1-forward.fastq.gz \
/home/blabla/Output_files/REV/HI.3923.001.Index_2.1BD6B_R1-reverse.fastq.gz \
/home/blabla/Output_files/FOR/HI.3923.001.Index_2.1BD6B_R2-forward.fastq.gz \
/home/blabla/Output_files/REV/HI.3923.001.Index_2.1BD6B_R2-reverse.fastq.gz \
ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

и этот код просто повторяется 12 раз по числу пар, каждый раз разные пары..

[Saboteur]

Ооо, ну так тут же не только цифры. Тут хеш.

Тогда вот, например:

for file in  *R1.fastq.gz; do
BASENAME=${file%%_R1.fastq.gz*}

echo "java -jar trimmomatic-0.39.jar PE -phred33 \ 
${BASENAME}_R1.fastq.gz \
${BASENAME}_R2.fastq.gz \
/home/blabla/Output_files/FOR/${BASENAME}_R1-forward.fastq.gz \
/home/blabla/Output_files/REV/${BASENAME}_R1-reverse.fastq.gz \
/home/blabla/Output_files/FOR/${BASENAME}_R2-forward.fastq.gz \
/home/blabla/Output_files/REV/${BASENAME}_R2-reverse.fastq.gz \
ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36"
done

[wolverine777]

Saboteur, Спасибо! Там наверное в конце done надо добавить, верно?

В общем если запустить этот код получается вот что:

To execute Trimmomatic run: java -jar $EBROOTTRIMMOMATIC/trimmomatic-0.36.jar

The following have been reloaded with a version change:
  1) java/1.8.0_192 => java/1.8.0_121

To execute Trimmomatic run: java -jar $EBROOTTRIMMOMATIC/trimmomatic-0.36.jar
    java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_10.1ND6Bs_R1.fastq.gz HI.3923.001.Index_10.1ND6Bs_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_10.1ND6Bs_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_10.1ND6Bs_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_10.1ND6Bs_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_10.1ND6Bs_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_11.2ND6Bs_R1.fastq.gz HI.3923.001.Index_11.2ND6Bs_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_11.2ND6Bs_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_11.2ND6Bs_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_11.2ND6Bs_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_11.2ND6Bs_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_1.1BD1_R1.fastq.gz HI.3923.001.Index_1.1BD1_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_1.1BD1_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_1.1BD1_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_1.1BD1_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_1.1BD1_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_12.1ND6As_R1.fastq.gz HI.3923.001.Index_12.1ND6As_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_12.1ND6As_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_12.1ND6As_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_12.1ND6As_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_12.1ND6As_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_2.1BD6B_R1.fastq.gz HI.3923.001.Index_2.1BD6B_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_2.1BD6B_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_2.1BD6B_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_2.1BD6B_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_2.1BD6B_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_3.3BD6A_R1.fastq.gz HI.3923.001.Index_3.3BD6A_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_3.3BD6A_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_3.3BD6A_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_3.3BD6A_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_3.3BD6A_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_4.2BD1_R1.fastq.gz HI.3923.001.Index_4.2BD1_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_4.2BD1_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_4.2BD1_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_4.2BD1_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_4.2BD1_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_5.4BD6B_R1.fastq.gz HI.3923.001.Index_5.4BD6B_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_5.4BD6B_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_5.4BD6B_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_5.4BD6B_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_5.4BD6B_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_6.2BD6A_R1.fastq.gz HI.3923.001.Index_6.2BD6A_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_6.2BD6A_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_6.2BD6A_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_6.2BD6A_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_6.2BD6A_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_7.2ND6A_R1.fastq.gz HI.3923.001.Index_7.2ND6A_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_7.2ND6A_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_7.2ND6A_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_7.2ND6A_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_7.2ND6A_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_8.1ND1s_R1.fastq.gz HI.3923.001.Index_8.1ND1s_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_8.1ND1s_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_8.1ND1s_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_8.1ND1s_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_8.1ND1s_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
java -jar trimmomatic-0.39.jar PE -phred33 \
HI.3923.001.Index_9.2ND1s_R1.fastq.gz HI.3923.001.Index_9.2ND1s_R2.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_9.2ND1s_R1-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_9.2ND1s_R1-reverse.fastq.gz /home/blabla/Output_files/FOR/HI.3923.001.Index_9.2ND1s_R2-forward.fastq.gz /home/blabla/Output_files/REV/HI.3923.001.Index_9.2ND1s_R2-reverse.fastq.gz ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36

то есть он просто выводит список такой большой того что надо бы запустить )
Странно, ведь перед каждой парой файлов стоит java -jar trimmomatic-0.39.jar PE -phred33

не подскажете в чем дело?

[Saboteur]

может убрать echo?

Я часто перед выполнением команды сперва делаю echo команды, смотрю все ли правильно, потом убираю echo с лишними кавычками и выполняю

[wolverine777]

Ура! Большое спасибо.

Я, как вы могли заметить, только врубаюсь в линукс и иже с ним... Поэтому не могли бы подсказать о чем шла речь в "тут же не только цифры. Тут хеш.".
Где об этом можно почитать и хоть потренироваться немного?

Спасибо!

[Saboteur]

Ну вот эта часть имени файла - "1ND6Bs" - тут же не только цифры, то есть циклом пройтись по номеру нельзя, нужно именно разбирать имя файла и выкусывать кусок

Хеш это не к линуксу, это к математике. Просто эта часть похожа на хеш

Answer 2

[AUser0]

#~/bin/bash

pat='_([0-9]+)_A'
for file in $(find ./ -name '*.fastq')
do
        if [[ "${file}" =~ $pat ]]
        then
                java -jar trimmomatic-0.39.jar PE -phred33 \
                file_${BASH_REMATCH[1]}_A.fastq \
                file_${BASH_REMATCH[1]}_B.fastq \
                output-file_${BASH_REMATCH[1]}_A-FOR.fastq \
                output-file_${BASH_REMATCH[1]}_A-REV.fastq \
                output-file_${BASH_REMATCH[1]}_B-FOR.fastq \
                output-file_${BASH_REMATCH[1]}_B-REV.fastq \
                ILLUMINACLIP:TruSeq3-PE-2.fa:2:30:10 LEADING:5 TRAILING:5 SLIDINGWINDOW:4:5 MINLEN:36
        fi
done