Bash. Как сортировать csv файл в bash?

Question

[Stanislav Martynov]

Доброго времени.
Есть file.csv файл такого вида:

"FIELD_1, 2", 2
"FIELD_1",1
"FIELD_1, 2, 3", 3

Если выполнить
sort --field-separator="," -k2 -n file.csv > sorted.csv

То по идее в sorted.csv должны быть отсортированные данные по 2-му полю, но это не работает потому что в ковычках содержатся запятые. Как это можно решить.
В итоге хочу получить файл

"FIELD_1",1
"FIELD_1, 2", 2
"FIELD_1, 2, 3", 3

Заранее спасибо

Comments

[athacker]

Сначала придётся поменять запятые внутри кавычек на что-нибудь другое, потом отсортировать, а потом заменить заменитель кавычек обратно на кавычки. Короче, sed с регэкспами поможет.

Answer 1

[Saboteur]

так просто и отсортируйте по второму полю:

sort -k2 -n file.csv > sorted.csv

Comments

[Stanislav Martynov]

Спасибо за ответ.
А что означает у вас a.txt в sort -k2 -n a.txt file.csv > sorted.csv
?

[Saboteur]

Исправил, я тестил у себя на a.txt, просто убрать его надо =)

[Stanislav Martynov]

Saboteur, На таком примере работать к сожалению не будет:

"FIELD_1, one",1,"one"
"FIELD_1, three",3,"three"
"FIELD_1, two, three",2,"two"

я так понял, все что находится внутри "" не считается как одна ячейка и запятые внутри тоже считаются. Можно ли это как-то обойти?

[Saboteur]

sort --field-separator="\"" -k3 -n file.csv > sorted.csv

[Stanislav Martynov]

Saboteur, Спасибо, работает!

[SVM]

Win332, Saboteur,
ключ -n не нужен
попробуй с ним/без
"FIELD_6, 2, 3", 2 ,"xxx, 2", второй
"FIELD_5, 3, 3", третий
"FIELD_1",1 ,"xxx, 2", первый

зы
а можно задать разделитель не из одного символа?
или sort это не поддерживает ?

[Saboteur]

ключ -n нужен, если будет больше 9 значений, потому что по алфавиту 10 < 2, а по числам 10 > 2

разделитель не из одного символа поддерживает awk, а sort нет.

[SVM]

Saboteur,
спасиб,понял ,НО
почему с ключём -n не работает ,в чём подвох?
"FIELD_6, 2, 3", 2 ,"xxx, 2", второй
"FIELD_5, 3, 3", третий
"FIELD_1",1 ,"xxx, 2", первый

[SVM]

Saboteur,
а ,я понял ,во второй строке всего две ячейки,
а можно это игнорировать,
допустим у меня несколько строк с разным кол-вом ячеек 1-10 ,
но нисмотря на это мне нужно как то упорядочить их по последнему значению или по 3,
а так получается,что не просто пропускает строку,где этой ячейки нет,
но и остальные строки тоже не обрабатывает.
или sort - это простая команда и это не для неё задача?

в двух словах,если не трудно,
Спасибо

зы
если в примере за разделитель берём " ,
то думаю правильнее использовать с ключом -b (игнор пробелов ) ?
вдруг там его нет или наоборот 2-3 .
иль не правильно?

[Saboteur]

сорт простая команда, основная задача - сортировать строки.
То, что он еще умеет сортировать числа, да еще и по столбцам - это вообще прекрасно, но что-то сложное нужно разбирать чем-нибудь другим.
Например через awk переделать строку таким образом, чтобы искомый столбец был первым. И сортировать сортом уже по первому столбцу, который есть везде.

p.s. В примере мы используем ключ -n (сортировать по числам). В процессе преобразования куска строки в число, пробелы и так отсекутся.

Answer 2

[SVM]

да вроде всё работает -попробовал (сам учусь),я даже код не писал,твой copy/past-ил.
то что содержится в кавычках "" ,читается как единая строка/символ. -ЛОЖЬ
единственное/возможно ,предварительно сам csv нужно разбить на строки,
или там каждое значение/парамет FILD идёт с новой строки?
тогда должно работать

Comments

[Stanislav Martynov]

Да, похоже я ошибся, он действительно работает.
Вот собрал csv файл который не срабатывает:

"FIELD_1, one",1,"one"
"FIELD_1, three",3,"three"
"FIELD_1, two",2,"two"

на
sort --field-separator="," -k2 -n file.csv > sorted.csv

Я уже очень давно мучаюсь с этой проблемой но так и не нашел причины почему это не сортируется

[SVM]

Win332,
-k3
sort --field-separator="," -k3 -n file.csv > sorted.csv

[Stanislav Martynov]

SOTVM, Да, так работает. Но что делать если в csv файле самые разные данные которые не ограничиваются таким порядком запятых?
Такой пример работать не будет:

"FIELD_1, two, three",2,"two"
"FIELD_1, one",1,"one"
"FIELD_1, three",3,"three"

Можно как-то посчитать все что в "" как одну ячейку не смотря на запятые? Может как-то --field-separator="," надо настроить?

[SVM]

попробуй русский ман почитай,он вроде как попонятней,поэксперементируй ツ
ну или может кто даст дельный совет,
я сам ещё толком не разобрался со всеми тонкостями
www.opennet.ru/man.shtml?category=1&russian=&topic=sort

[SVM]

Win332,
мне кажется сперва нужно проти sed|awk
заменить/подставить/дополнить свой уникальный маркер разделителя
потом по нему отсортировать
потом удалить маркер
тады ему/ей команде sort будет пок на "" , и др.
я не умею буквами писать/излагать мысли ツ ,
словами/на пальцах,я бы вывел алгоритм,
иногда "пыжишься целый день" - вроде наговнокодишь,
а потом придёт умный чел и выдаст команду в одну строку 30 символов
вот такой он линупс/баш (•̮•)