Как обработать большой массив данных с нужным форматированием?

Question

[weranda]

Приветствую.
Имеется десять десять тысяч строк следующего формата:

В EXCEL:
1 параметр 1
1 параметр 2
1 параметр 3
2 параметр 4
2 параметр 5
3 параметр 6
3 параметр 7
3 параметр 8

Или в CSV:

1;параметр 1
1;параметр 2
1;параметр 3
2;параметр 4
2;параметр 5
3;параметр 6
3;параметр 7
3;параметр 8

Нужно привести эти данные в следующий вид в CSV(Excel):

1;параметр 1|параметр 2|параметр 3
2;параметр 4|параметр 5
3;параметр 6|параметр 7|параметр 8

Вопрос: Как это можно сделать? Уже весь мозг сломал, в скриптах не силен, в регулярках тоже. Подскажите пожалуйста, как максимально быстро и просто это можно реализовать?

Comments

[Saboteur]

Почему у вас в первой строке 3 параметра, во второй два, в третьей три?
Можете уточнить систему, оно так и должно дальше идти 2,3,2,3 или вы ошиблись?

[weranda]

Сергей: не ошибся - это записи из БД. Сначала идет ID товара, затем указывается его изображение. Одна запись на одно изображение.

Answer 1

[Saboteur]

на перле

open(DATA,"data.csv");
$last="";
foreach $line ( ) {
chomp $line;
($id,$value)=split(";",$line);
if ($last==$id) { print "|$value"; }
else { $last=$id; print "\n$id;$value"; }
}

C:\test>perl.exe a.pl
1;параметр 1|параметр 2|параметр 3
2;параметр 4|параметр 5
3;параметр 6|параметр 7|параметр 8

Comments

[Saboteur]

чтобы вывести в файл, добавьте вначале открытие файла
open(OUT,"result.csv");
и print делайте в него, например print OUT "\n$id;$value";

[weranda]

Спасибо, в программировании не силен.

[Saboteur]

weranda:
Ну в общем полный скрипт на перл выглядит так (работает в ЛЮБОМ перле):

open(OUT,">result.csv");
open(DATA,"data.csv");
$last="";
foreach $line ( ) {
chomp $line;
($id,$value)=split(";",$line);
if ($last==$id) {
print OUT "|$value";
}
else
{
$last=$id;
print OUT "\n$id;$value";
}
}

файл data.csv - ваш
1;параметр 1
1;параметр 2
1;параметр 3
2;параметр 4
2;параметр 5
3;параметр 6
3;параметр 7
3;параметр 8

result.csv у меня вышел такой

1;параметр 1|параметр 2|параметр 3
2;параметр 4|параметр 5
3;параметр 6|параметр 7|параметр 8

[weranda]

Спасибо. Странно, но ваш скрипт выдает ошибку, ошибки:

syntax error at /Users/.../script.pl line 5, near "( ) "
syntax error at /Users/.../script.pl line 16, near "}"
Execution of /Users/.../script.pl aborted due to compilation errors.

Ввел простенький скрипт взамен вашего:
#!/usr/bin/perl
use strict;
use warnings;

print "hi NAME\n";

Выводит в терминале Hi Name.

[weranda]

Я понял, ч помещаем, к примеру, на рабочий стол ваш скрипт и один файл - CSV с данными. Запускаем скрипт через терминал. Так и сделал.

[Saboteur]

Хабра отрезал часть...
Попробую так:

open(OUT,">result.csv");
open(DATA,"data.csv");
$last="";
foreach $line ( ) {
chomp $line;
($id,$value)=split(";",$line);
if ($last==$id) { print OUT "|$value"; }
else
{ $last=$id; print OUT "\n$id;$value"; }
}

[Saboteur]

блин. все равно. в 5 строке должно быть foreach $line ( < DATA > ) {

[Saboteur]

только между < DATA и > не должно быть пробелов

[weranda]

Сергей: Еще раз спасибо) ничего у меня не получается( при добавлении последних корректировок ошибки перестали выдаваться, ничего не происходит, попробовал на win и mac

[weranda]

Я правильно понял? - выходной файл создавать не надо, он сам создастся должен? Хотя и с созданием и без пробовал - выходной файл не создается.

[Saboteur]

open(OUT,">result.csv");
Команда означает, что в файл result.csv будут перезаписаны данные. Если файла нет, он будет создан.

[Saboteur]

у вас изначальные данные лежат точно в data.csv, и именно в том виде, что вы показали в вопросе?

[Saboteur]

в принципе могу помочь по скайпу saboteur_kiev

[weranda]

Спасибо за помощь!

Answer 2

[M-ka]

эти данные же в файлах, а значит тут вообще жс не при делах...
1. надо писать скрипт на другом языке, который откроет файл, считает данные, поколбасит, создаст где то файл, запишет поток, сохранит изменения...
2. если это пара файлов, тогда уже можно копипастом заняться, что бы все строки запихнуть в переменную.
ну а строку с
1;параметр 1
1;параметр 2
1;параметр 3
сконвертить до состояния
1;p1|p2|p3 раз плюнуть в цикле
Сначала строку разбить на подстроки по переносу через split, в результате будет массив из строк.
Потом массив обойти в цикле. В процессе обхода строку можно разбить на 2 подстроки и снова через split по ";". Результат разбивания записать в какой то более глобальный обьект, в котором ключем будет в виде строки №, а в качестве параметра значение... вот только дописывать значение, а не заменять (аля x += доп параметр).
В результате у нас будет обьект типа
{
1: 'a|b|c' //при дописывании |, не ставить, если это только созадется
2: 'a|b|c'
}
Ну а после этого всего, объект представить в виде строки и делов то...
Вот тут подумал, оказалось и еще проще, потому убрал комментарий в отношении конвертации объекта в строку через ту стринг подобное ну и добавил следующее:
Обойти через фор ин объект... и формировать строку в следующем формате
ключь ";" значение (ну у нас же значение и так строка) перенос строки, в результате будет строка, которую тоже сохранить через x+= значение, а результат сохранить уже через копипаст в нужный файл или послать аяксом куда то в виде контента...
Вот только влезет ли при посте оно? Там же лимит.... Тут только постом думать

Answer 3

[Антон]

регулярка сложноватая выйдет
думаю, проще и нагляднее будет, если разбить эти данные на массив, и в фориче смотреть первый символ

Answer 4

[kirilldzr]

AWK вам в помощь. Сам им пользовался для подобных задач.