Как в Linux вывести данные из файлов и записать построчно?

Question

[quintera]

В системе Linux есть миллионы файлов со следующим содержимым:
id: 123456789012 #числа в каждом файле разные но всегда состоят из 12 цифр
x=123 y=1234 #здесь тоже числа разные, могут состоять максимум из 4 цифр
Laterality=R #здесь во всех файлах значение либо R либо L

нужно вывести только значения и записать построчно, как на примере:
123456789012 123 1234 R
234567890123 2345 234 L
и т.д.

с помощью этой команды я смог вывести и записать построчно только значения id в txt-файл со всех файлов в каталоге и в подкаталогах:


получилось так:
123456789012
234567890123
и т.д.

у меня не получается придумать команду с условием, что если в файле нет строк с "x=" либо "y=" либо "Laterality", то ничего с этого файла записывать не нужно, а если в файле все строки имеются то записать их значения (значения из одного файла в одну строку, разделив пробелом как указал на примере "123456789012 123 1234 R")

Comments

[Сергей П]

Приведите в теге code кусок входного файла в оргинальном виде без комментариев, чтобы было там несколько элементов входныз данных. И наче из вашего сумбурного описания не понятно как именно устроены входные данные.

[xotkot]

В системе Linux есть миллионы файлов со следующим содержимым:

... /home/* > ...
у вас что, миллионы файлов, где нужно произвести поиск, размазаны по всему хомяку ?

[quintera]

Сергей Паньков, привел без тега, чтобы выделить жирным шрифтом то, что нужны вывести. содержание каждого файла аналогично, за исключением значении выделенных жирным, и еще нескольких ненужных мне значений.
элементы "Center X=", "Center Y=", "Possibility=", "Type=", "Image Laterality=" есть в каждом нужном мне файле, если в каком-то файле нет хотя бы одного из этих элементов, то никакие данные мне из этого файла не нужны.

^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@DICM^B^@^@^@UL^D^@M-<^@^@^@^B^@^A^@OB^@^@^B^@^@^@^@^A^B^@^B^@UI^ ^^@1.2.840.10008.5.1.4.1.1.88.11^@^B^@^C^@UI,^@2.25.1394455567981633947292924600 3593050180^@^B^@^P^@UI^T^@1.2.840.10008.1.2.1^@^B^@^R^@UI^^^@1.2.826.0.1.3680043 .8.165.100^@^B^@^S^@SH
^@AK_STR_4_0^H^@^E^@CS
^@ISO_IR 192^H^@^R^@DA^H^@20221130^H^@^S^@TM
^@093512.236^H^@^T^@UI^N^@1.2.3.4.5.6.7^@^H^@^V^@UI^^^@1.2.840.10008.5.1.4.1.1.8 8.11^@^H^@^X^@UI,^@2.25.13944555679816339472929246003593050180^@^H^@ ^@DA^H^@202 21130^H^@#^@DA^H^@20221130^H^@0^@TM
^@092002.000^H^@3^@TM
^@093512.236^H^@P^@SH^H^@1835797 ^H^@`^@CS^B^@SR^H^@p^@LO^D^@Agfa^H^@M-^P^@PN^@^ @^H^@^Q^QSQ^@^@^@^@^@^@^P^@^P^@PN^N^P^@ ^@LO^L^@780222402136^P^@ 0^@DA^H^@19780222^P^@@^@CS^B^@F ^X^@^B^PUI^P^@1.2.3.4.5.6.7.20 ^@^M^@UI*^@1.2.82 6.0.1.3680043.8.165.100703.11836029^@ ^@^N^@UI,^@2.25.96426502300340166287633794 410492720461^@ ^@^P^@SH^H^@1835797 ^@^Q^@IS^B^@1 ^@^S^@IS^B^@1 @^@@M- CS
^@CONTAINER @^@CM- SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@^@^ASH^ F^@121144^H^@^B^ASH^D^@DCM ^H^@^D^ALO^P^@AKGUN BDT ReportM-~M-^?^MM-`^@^@^@^@M-~ M-^?M-]M-`^@^@^@^@@^@PM- CS^H^@SEPARATE@^@rM-#SQ^@^@^@^@^@^@@^@M-^QM-$CS^H^@PART IAL @^@M-^SM-$CS
^@UNVERIFIED@^@0M-'SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?@^@^PM- CS^ H^@CONTAINS@^@@M- CS^D^@TEXT@^@CM- SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^ ?M-^?^H^@^@^ASH^F^@121070^H^@^B^ASH^D^@DCM ^H^@^D^ALO^H^@FindingsM-~M-^?^MM-`^@^ @^@^@M-~M-^?M-]M-`^@^@^@^@@^@`M-!UT^@^@V^@^@^@Abnormal finding 1: Center X= 3711 , Center Y= 1919, Possibility= %74, Type= Benign MC
M-~M-^?^MM-`^@^@^@^@M-~M-^?^@M-`M-^?M-^?M-^?M-^?@^@^PM- CS^H^@CONTAINS@^@@M- CS^ D^@TEXT@^@CM- SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@^@^ASH^F^@12 1077^H^@^B^ASH^D^@DCM ^H^@^D^ALO
^@ConclusionM-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^@^@^@@^@`M-!UT^@^@^B^@^@^@- M-~M -^?^MM-`^@^@^@^@M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@M-^Y^QSQ^@^@M-^?M-^?M-^?M-^?M-~M -^?^@M-`M-^?M-^?M-^?M-^?^H^@P^QUI^\^@1.2.840.10008.5.1.4.1.1.1.2^@^H^@U^QUI:^@1. 3.51.0.7.1467808936.33695.24902.40691.22053.24371.51322^@^H^@M-^Y^QSQ^@^@M-^?M-^ ?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@P^QUI^\^@1.2.840.10008.5.1.4.1.1.11.1^H ^@U^QUI,^@2.25.253464016771080552631556563039538460246M-~M-^?^MM-`^@^@^@^@M-~M-^ ?M-]M-`^@^@^@^@M-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^@^@^@@^@^PM- CS^H^@CONTAINS@^ @@M- CS^D^@TEXT@^@CM- SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@^@^A SH^F^@121322^H^@^B^ASH^D^@DCM ^H^@^D^ALO^@^@M-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^ @^@^@M-~M-^?^MM-`^@^@^@^@M-~M-^?^@M-`M-^?M-^?M-^?M-^?@^@^PM- CS^H^@CONTAINS@^@@M - CS^D^@TEXT@^@CM- SQ^@^@M-^?M-^?M-^?M-^?M-~M-^?^@M-`M-^?M-^?M-^?M-^?^H^@^@^ASH^ F^@111027^H^@^B^ASH^D^@DCM ^H^@^D^ALO^P^@Image LateralityM-~M-^?^MM-`^@^@^@^@M-~ M-^?M-]M-`^@^@^@^@@^@`M-!UT^@^@^B^@^@^@R M-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^@^@

[Сергей П]

quintera, вы понимаете насколько чудовищно этот бинарный (судя по всему) формат отличается от того, что вы написали в постановке вопроса? Приложите уж лучше файл в бинарном виде или откройте его в 16ричном редакторе и скрньте.

Правильно я понял, что id вы предлагаете искать по признаку "12 подряд идущих десятичных цифр"? Вы уверены, что в бинарном формате не надйётся подобных последовательностей случайно?

[quintera]

Вы уверены, что в бинарном формате не надйётся подобных последовательностей случайно?

Сергей Паньков, уверен на 100%

вы понимаете насколько чудовищно этот бинарный (судя по всему) формат отличается от того, что вы написали в постановке вопроса? Приложите уж лучше файл в бинарном виде или откройте его в 16ричном редакторе и скрньте.

это вроде не бинарный формат, вот как в терминале на самом деле выглядит содержимое в конце файлов, из которого у меня не получается вырвать букву R либо L

@Image Laterality��^M�^@^@^@^@����^@^@^@^@@^@`�UT^@^@^B^@^@^@R ��^M�^@^@^@^@����^@^@^@^@

[Сергей П]

quintera, выглядит как попытка отобразить бинарный файл в терминале.
Используйте шестнадцатеричное представление. А что это за файлы?

[quintera]

Сергей Паньков, это Structured Report файлы в формате *.dcm (DICOM) формируются искусственным интеллектом, содержит информацию о возможных отклонениях в рентген снимках пациентов, 780222402136 (id пациента), X, Y (координаты на снимке), Possibility (вероятность), Type (тип отклонения), R либо L (правая либо левая область пациента).

ссылка на 1 из файлов
https://cloud.mail.ru/public/4UQS/qQ3KDfLN4

при открытии dicom-просмотрщиком выглядит вот так

[Сергей П]

quintera, для питона было, помнится еще 10 лет назат пара библиотек нормального парсинга этого формата. не страдайте фигней, поищите "dicom python" на гитхабе или pypi. и не придется извращаться с регекспами.

[quintera]

Сергей Паньков, не имел опыта с питоном, да и я не кодер ни разу. Может всё-таки попробовать с помощью bash скрипта?
все данные получается вытащить по отдельности, теперь нужна помощь с объединением всех команд в одно целое, но так, чтобы при отсутствий в каком-нибудь файле хотя бы одного шаблона, файл скипался

grep -aohPR '(?<!\d)\d{12}(?!\d)' /path > example.txt

grep -aohPR -m 1 '(?<=Center X= )\d+' /path > example.txt

grep -aohPR -m 1 '(?<=Center Y= )\d+' /path > example.txt

grep -aohPR -m 1 '(?<=Possibility= )\D\d+' /path > example.txt

grep -aohPR -m 1 '(?<=Type= )\w+\W\w+' /path > example.txt

grep -aohPR '\b[RL]\b' /path | tail -n 1 > example.txt

[Valdemar Smörman]

quintera, тебе уже писали - python и с ним в купе плюсом json и не надо выкручивать себе яйца...

[Сергей П]

quintera, кинь, пожалуйста, пару-тройку примеров файлов целиком в телеграм. У меня там такой же логин, как тут. И я покажу как вытащить эти данные. Там три строчки будет, я думаю.

Answer 1

[Сергей П]

Выглядит так, будто бы вам для решения достаочно тривиального однострочника на питоне, запускаемого в виде кманды py. Опишите более внятно формат входных данных, как именются файлы и в каких структурах каталогов они размещены.
Результат надо в один файл слить?
Общая схема такая:
- итерируемся по фходящим файлам с помощью glob или walk (если файлы в дереве каталогов, а не в одном каталоге).
- преобразуем содержимое файла в словарь: обычно достаточно сплита текста по пробелам и абзацам, потом сплит по "=" и получаем аргумент для конструктора словаря.
- печатаем в stdout f-строку с одстановкой данных из словаря, плученного выше.

Это если я правильно понял ваше сумбурное описание задачи.

UPD. Автор в изначальном вопросе не дал понять. что формат файла бинарный.
Решение на системных утилитах командной стоки будет громоздким и неремонтопригодным в плане поддержки.
Нужно на питоне делать. Если id гарантировано 12 цифр и такая последовательность встречется только в виде id, то можно парсить и регекспами.
Но сдаётся мне не просто вам будет, если не умеете в питон.

Answer 2

[CityCat4]

Написать скриптец на баше.
По каждому файлу
- грепнули ID:, распарсили строку
- грепнули x=, распарсили строку
- грепнули Laterality, распарсили строку
Если после грепа не получили ничего (то есть в файле нет строки), оборот цикла и читать следующий файл

Код писать лениво, но скрипт там небольшой. Если система хранения с подкаталогами, можно его рекурсивно вызывать :)

Comments

[quintera]

интересно, но мозгов не хватает без подсказок. скрипты пишу иногда, но не такие. ниже написал, у меня получилось вырывать нужные данные по отдельности

Answer 3

[Виктор Таран]

1. Братан я тебе ответ тоже дам скриншотом, ок ?
2. Будь добр хотябы на скриншоте не 123 а те цифры что реально выбрал из того кода что ты показал, и так приходится разбираться в том что ты понаписал в добавок еще и магически думать чего тебе нужно.
3. https://regex101.com/r/9gPiRY/11 будь другом закинь сюда все что у тебя есть

Вначале мы разберемся с регуляркой, а потом будем уже разбираться с grep.

Comments

[quintera]

спасибо, Ваша подсказка помогла немного продвинуться, я смог вывести нужные данные по отдельности, теперь не знаю как объединить это всё в одно целое, но так, чтобы при отсутствий в каком-нибудь файле хотя бы одного элемента, файл скипался

grep -aohPR '(?<!\d)\d{12}(?!\d)' /path > example.txt

вывел 780222402136

grep -aohPR -m 1 '(?<=Center X= )\d+' /path > example.txt

вывел 3711

grep -aohPR -m 1 '(?<=Center Y= )\d+' /path > example.txt

вывел 1919

grep -aohPR -m 1 '(?<=Possibility= )\D\d+' /path > example.txt

вывел %74

grep -aohPR -m 1 '(?<=Type= )\w+\W\w+' /path > example.txt

вывел Benign MC

P.S: не получается только вывести значение который выделил жирным, там будет R либо L
@Image LateralityM-~M-^?^MM-`^@^@^@^@M-~ M-^?M-]M-`^@^@^@^@@^@`M-!UT^@^@^B^@^@^@R M-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^@^@

хотя бы эта часть всегда одинакова, которая до R
@Image LateralityM-~M-^?^MM-`^@^@^@^@M-~ M-^?M-]M-`^@^@^@^@@^@`M-!UT^@^@^B^@^@^@R M-~M-^?^MM-`^@^@^@^@M-~M-^?M-]M-`^@^@^@

[Виктор Таран]

!#/bin/bash

тут цикл крутим по файлу
a=$(grep -aohPR '(? example.txt)
b=$(grep -aohPR -m 1 '(?<=Center X= )\d+' /path > example.txt)
если а не пусто
и если есть б не пусто
то
echo '$a+$b'
эльс не хватило переменных

https://regex101.com/r/BJZwQw/1

[quintera]

Виктор Таран,

grep -aohPR '\b[RL]\b' /path > example.txt

grep -aohPR '\b[RL]\b' /path | tail -n 1 > example.txt

эти команды одинаково справились с предпоследней задачей (вытащить R либо L), осталось только соединить их все воедино, не могли бы Вы мне помочь?

[quintera]

Виктор Таран, вот эту бы часть на английском

если а не пусто
и если есть б не пусто
то
echo '$a+$b'
эльс не хватило переменных

[Виктор Таран]

1. Проверка по коду завершения команды

touch /root/test 2> /dev/null
if [ $? -eq 0 ]
then
  echo "Successfully created file"
else
  echo "Could not create file" >&2
fi

Если команда завершилась валидно то , если нет то эльс.
Естественно если греп не найдет ни 1 строки то это невалидное завершение грепа\
так же есть упрощеная форма

Более подробно
2 вариант упрощений.
https://ru.hexlet.io/blog/posts/kak-ispolzovat-kod...

команда && команда2 || команда 3
где && - если команда завершилось правильно
и || если что-то пошло не так

3. Вариант проверять на пустоту переменной
https://andreyex.ru/linux/kak-proverit-chto-pereme...

[quintera]

Виктор Таран, так этак пытался, скрипт не соблюдает условие, пишет в dstfile всё что совпадает со всех файлов, просто пропуская то, что не совпадает.

#!/bin/bash

for file in /home/*
do
    a=$(grep -aohPR '(?<!\d)\d{12}(?!\d)' $file | tr -d '\n' >> dstfile.txt)
    b=$(grep -aohPR -m 1 '(?<=Center X= )\d+' $file | tr -d '\n' >> dstfile.txt)
    c=$(grep -aohPR -m 1 '(?<=Center Y= )\d+' $file | tr -d '\n' >> dstfile.txt)
    d=$(grep -aohPR -m 1 '(?<=Possibility= )\D\d+' $file | tr -d '\n' >> dstfile.txt)
    e=$(grep -aohPR -m 1 '(?<=Type= )\w+\W\w+' $file | tr -d '\n' >> dstfile.txt)
    f=$(grep -aohPR '\b[RL]\b' $file | tail -n 5 >> dstfile.txt)
done
if [ $a -eq 0 ] && [ $b -eq 0 ] && [ $c -eq 0 ] && [ $d -eq 0 ] %% [ $e -eq 0 ] && [ $f -eq 0 ]
then
    echo '$a+$b+$c+$d+$e+$f'
else
 echo '' > /dev/null
fi

результат:
78022240213637111919%74Benign MCR <---- с 1 файла все нужные значение записались
61082840248840622061%69Malign MCR <---- со 2 файла тоже всё норм
37111919%74Benign MCL <---- в 3 файле удалил 12значное число, скрипт этот файл не скипнул, записал остальные значения

и кстати как расставить какой-нибудь символ между значениями? тире либо слэш?
780222402136-3711-1919-%74-Benign MC-R

Answer 4

[ValdikSS]

Предполагается, что данные "id", "x=" и "Laterality" расположены именно в таком порядке.

find /home -type f -print0 | xargs -0 -n1 awk '/^id: / {id=$0} /^x=/ {x=$0} /Laterality=/ {print id, x, $0}'

Comments

[quintera]

ValdikSS, в скрипте ниже у меня почти получилось, но нужно условие, которое при парсинге файла найдет хоть какое-то значение у каждого из "a, b, c, d, e, f" в файле, в противном случае никаких данных оттуда не парсить.

#!/bin/bash

for file in /home/*
do
    a=$(grep -aohPR '(?<!\d)\d{12}(?!\d)' $file | tr -d '\n')
    b=$(grep -aohPR -m 1 '(?<=Center X= )\d+' $file | tr -d '\n')
    c=$(grep -aohPR -m 1 '(?<=Center Y= )\d+' $file | tr -d '\n')
    d=$(grep -aohPR -m 1 '(?<=Possibility= )\D\d+' $file | tr -d '\n')
    e=$(grep -aohPR -m 1 '(?<=Type= )\w+\W\w+' $file | tr -d '\n')
    f=$(grep -aohPR '\b[RL]\b' $file | tail -n 5)

if [ -n "${a}" -a -n "${b}" -a -n "${c}" -a -n "${d}" -a -n "${e}" -a -n "${f}" ]; then
    echo "${a}-${b}-${c}-${d}-${e}-${f}" >> output.txt
fi
done

сейчас это условие выводит даже если не все условия соблюдены, то есть выводит даже если в целом файле значение есть например только у "a"

if [ -n "${a}" -a -n "${b}" -a -n "${c}" -a -n "${d}" -a -n "${e}" -a -n "${f}" ];

нужно чтобы скипались все файлы, у которых отсутствует хотя бы одно значение.

[ValdikSS]

quintera, напишите скрипт на awk, этот язык сделан специально для обработки текстовых данных.

[quintera]

ValdikSS, я grep еле как осиливаю, с awk и подобными вряд ли справлюсь без помощи:)