Чтение крупного файла без нагрузки?

Question

[Алексей Толстоухов]

Всем привет.

Нужна ваша помощь.
При чтение файла весом в 242мб, сайт сбрасывает соединение и отключается из за нагрузки.
Читаю методом file_get_contents
После использую preg_match_all и вывожу нужную(ые) строку(и).

Подскажите способ чтение крупных файлов. В файле более 2 миллионов строк.
Пробовал file(), fopen() он вообще не читает видимо.

Answer 1

[Влад Малиничев]

Ну тут способов не так уж и много... Смотря какая цель прочтения файла, и пользовательский ли файл?

Если файл внутренний, то я бы запустил очередь и читал по 100-300 строк за итерацию, и нужное складывал в базу данных. Или же можно просто все строки сложить в базу данных и потом одним запросом вытянуть необходимое...

Оптимальный способ это система очередей, или если не охота заморачиваться то по крону раз в минуту, но так по времени значительно дольше выйдет

Comments

[Алексей Толстоухов]

По очереди долго будет. Файл txt.

[Влад Малиничев]

Алексей Толстоухов, https://habr.com/post/345024/