Как пропарсить на php большой текстовый файл?

Question

[pingo]

Есть большой, нет.. очень большой файл, примерно 1 800 000 * 150 строк.
Необходимость появилась перевести его из текстового формата в mysql для удобства доступа к инфе.
не пробовал ещё парсить, но если его перевести в массив построчно, то.. наверное не получится.
как то надо кусками. какие есть варианты, кроме того, что резать файл на куски(на кучу более мелких файлов)?

да и чем открыть для редактирования, даже фиг знает
какие есть варианты, куда копнуть?

Comments

[OVK2015]

1 800 000 это размер 1-ой строки?

[Philipp]

OVK2015: мне кажется 1.8M - это количество строк, а 150 символов в ней или что-то вроде того

[pingo]

Philipp T: нет, 1.8м блоков в которых как минимум 150 строк бывает и 1500 строк

[DevMan]

pingo: 150 строк или 1500 строк - это фигня. считываете блоки один за другим и тут же обрабатываете.

[pingo]

DevMan: этот блок как то надо ещё сосчитать, хотя там есть к чему прицепиться

[DevMan]

pingo: должен быть какой-то маркер конца блока, не бывает без этого.
вот и читаете построчно пока не упретесь в этот маркер, обрабатываете данные, сторите их, очищаете память и так по кругу.

[Philipp]

pingo: да нет никаких проблем. Используете fget и читаете в буфер. Потом проходите по буферу в поиске разделителя строки или блока. Представьте, что у вас бесконечная катушка ниток, а на нитке узелки. Одинарный - конец строки (\n), двойной - конец блока. Из катушки вы можете отмотать только метр за раз. Вытаскиваете метр, считаете узелки и разрезаете по узелку. Как только метр закончился, берете следующий и связываете остаток предыдущего со следующим. Опять ищите узелки.

Answer 1

[Philipp]

Используйте stream_get_line или fgets для построчного чтения. В мануале к fgets есть хороший пример.

Если файл структурированный (например CSV), то можно использовать LOAD DATA INFILE dev.mysql.com/doc/refman/5.7/en/load-data.html

Comments

[Guy Fawkes]

Можно также использовать SplFileObject

[Philipp]

Guy Fawkes: я так понимаю, это OOP интерфейс к тем же системным вызовам.

[Guy Fawkes]

Philipp T: возможно, не изучал исходники этого класса. Но у него довольно удобное API, уже решающее всякие проблемы типа пропуска пустых строк, а так как человеку нужно загнать информацию в MySQL, рискну предположить, что она там в каком-то структурированном формате, и возможно даже CSV, для чего опять-таки есть метод.

В любом случае, я отписался в качестве комментария к вашему ответу, а не отдельным ответом, так как считаю этот класс, действительно, просто дополнением к нему.

[pingo]

Guy Fawkes: если бы csv.. sdf формат текстовый

Answer 2

[Михаил]

Если я правильно понял и у вас 1.8M строк, то стоит попробовать сделать большой файл подкачки и запустить все на локальном компе, тем более что процесс разовый.