Как импортировать CSV 300k строк в Laravel?

Question

[Dmitriy]

Использую либу laravel-excel.
Сеть файл на 130 МБ и 300к строк, надо его занести в БД.
Решил делать через очереди, но проблема в том, что когда я загружаю этот файл не срабатывает чтение санками и соответственно не добавляет в БД.
Если загрузить файл с меньшим количеством строк, то все работает.
Как вообще загрузить такой файл?

Comments

[Дмитрий]

гугли пор вот этим словам "mysql LOAD DATA LOCAL INFILE"

Answer 1

[DevMan]

эмм.... а зачем нужен laravel-excel для импорта csv?
возьмите пакет из лиги и читайте построчно. я им миллионы строк каждый день импортирую, без всяких очередей.

https://csv.thephpleague.com/

Comments

[Dmitriy]

миллионы строк без очередей?

[DevMan]

Dmitriy Uvin, да. и чего тут удивительного?

[iFortunes]

Я тоже столкнулся с такой же проблемой и не понимаю как можно импортировать миллионы строк без очереди. Я использую метод upsert для обновления уже имеющихся данных, но БД быстро начинается ругаться - "SQLSTATE[HY000] [2002] Connection refused".

Тем более, что скрипт не может работать больше 30 сек.

Можно пример?

[DevMan]

iFortunes, с чего это скрипт не может работать дольше 30 секунд? прост не нужно его запускать через браузер.

Answer 2

[12rbah]

Если загрузить файл с меньшим количеством строк, то все работает.

Считывайте в память не весь файл сразу а например по 10к строк. А в целом csv же просто текстовый файл(это к тому, что excel и csv сильно отличаются внутри). с разделителем между строк, можно и свое решение написать, которое не будет сложным в реализации

Comments

[Dmitriy]

Вот ка его считывать, по 10к?

[JhaoDa]

Dmitriy Uvin, тебе выше дали ответ про «пакет из лиги», чем не устроил?

[12rbah]

Dmitriy Uvin, ну 10к строк не совсем правильно выразился можно так читать, в буффер считываешь 1мб текста например, находишь последний перенос строки, запоминаешь позицию, где остановился, парсишь этот кусок, повторяешь до тех пор пока не закончишь.
https://www.php.net/manual/ru/function.fgets.php
https://www.php.net/manual/ru/function.fseek.php
https://www.php.net/manual/ru/function.file-get-co...

[profesor08]

Dmitriy Uvin, блин, это базовые знания, основа. Как считать файл на пхп знать должен каждый.