Как прочитать файл построчно с кастомным разделителем?

Question

[timokins]

Имеются большие файлы с несколькими миллионами строк,
требуется построчное чтение, но не со стандартным разделителем
\r\n
а с кастомным, т.к. файл содержит следующий шаблон:

строка 1: ...................
строка 2: ......РАЗДЕЛИТЕЛЬ
строка 3: ....................РАЗДЕЛИТЕЛЬ

т.е. данные с первой строки еще продолжаются на второй и нужный разделитель может находится лишь в конце следующей строки.

Comments

[Павел Корнилов]

Сказал бы юзать split, но на миллионах строк он будет выполняться тяжело.

[Alex McArrow]

Концептуально:
Читаем файл как stream, по байтно. проверяем прочитанный байт на соотвествие шаблону разделителя:
если НЕТ - заполняем буффер
если ДА - все что в буффере бросаем в колбэк (так как строка кончилась) буффер очищаем
идем дальше, пока файл не кончился

[Roman]

не зная формата строк советовать что то бесполезно.
если строки вида

drgklj;h;dkgjfdlkjd'sakjgklf;lsg'ffiwe'ifmawirngaenr/kfnskjfnskfjnb;skfjbn;kdfjnb;kdjfnb;kjsfn;kb
.sdfnsdkfjnbkfjbnkdjbndjfbnkj.fb/jgsdfgfdj;waeifn[wangiareungisdnfbkjgnfbkjsngkbjgfbjgfnb/lajbljgldfjsgblfdjdfj

где / - delemiter это одно.
если

1235 6789 0 string string string / 1235 6789 0 
string string string / 1235 6789 0 string string string / 1235 6789 0 string string
string

это другое.

И побайтовое чтение да еще со сравнением каждого символа это медленно.
Лучше (если есть 200-300 Мб в запасе) считывать файл целиком в память и там манипулировать.

[timokins]

Roman, delemiter — START OF TEXT, он же STX, он же \u0002
в общем, спец символ, так что формат строк не важен

Считывать файл целиком: самый большой файл около 6Гб и около 20 млн. строк, не вариант.

[Roman]

timokins,

несколькими миллионами строк

несколько это 2 - 3 - 5 ... 9
10 20 ... и дальше это уже десятки миллионов.
при таком раскладе jаvascript "тоже не торт". Perl, Golang.

Считывать файл целиком: самый большой файл около 6Гб и около 20 млн. строк, не вариант.

т.е. вам не нужны данные, которые вы считываете - после прочтения одной строки и манипуляций с ней, следующая так же.

Можно на плюсах аддон написать и юзать.

[timokins]

Roman, 20 миллионов это самый большой, а так они в среднем все по 2 - 4 миллиона,

да, моя задача прочитать строчку, отфильтровать, преобразовать данные в sql запрос,
и забыть о ней. Но, как оказалось, почему-то некоторые "строчки" БД переходят на новую строчку в файле,
сохраняя при этом свою структуру разделителей. Что-то типа кривого CSV.

Моим решением было устроить проверку текущий строки на наличие разделителя,
и если он отсутствует, то сохранить текущую строчку во временную переменную и достать из неё запись при обработке следующей, и так до самого конца. Т.е. из моего примера в вопросе, строчки 1 и 2 слились во временную, а 3 останется такой какая есть.

Про решение с чтением побайтно тоже думал, но поскольку я уже встал на путь сомнения о своем решении,
то решил посоветоваться здесь, возможно есть что-то более красивое.

[Roman]

timokins,
а если https://askubuntu.com/questions/20414/find-and-rep...
'\n' на что то там.
а потом

построчное чтение

Answer 1

[Lynn «Кофеман»]

Можно использовать https://www.npmjs.com/package/streamsearch

Он используется в busboy для разбора http multipart/form-data, где как раз поля разделяются специальным разделителем

Answer 2

[Арсений Матыцин]

Нууу, регулярки, чтоб их, чем не угодили?

Comments

[timokins]

Боюсь, что на миллионы строк, это будет не самым лучшим решением.

[Арсений Матыцин]

timokins, проверка на \n это в принципе уже регулярка. Заменить ее на немного более сложное выражение...
Ну а вообще в принципе скармливать многомиллионные строки это как-то зло. Да и что там такого? Я недавно выудил лог с проекта, на который болт забивался на несколько лет, а посещения были, так там 161 метр веса и всего 696 059 строк.