Как работать с большими файлами в PHP?

Question

[PO6OT]

Примерные задачи:
1. Изменить первый символ в файле, не загружая весь файл в память.
2. Убрать первый символ, не загружая весь файл в память.
3. Добавить 1 символ в начало файла, не загружая весь файл в память.

С маленькими файлами всё просто:

//1
file_put_contents($file, $symbol.substr(file_get_contents($file), 1));
//2
file_put_contents($file, substr(file_get_contents($file), 1));
//3
file_put_contents($file, $symbol.file_get_contents($file));

Но проблема в том, что файл большой и загружать его в память не стоит, так как изменять его нужно часто.

Answer 1

[Сергей Протько]

Изменить первый символ в файле, не загружая весь файл в память.

читать про fopen, fwrite

Убрать первый символ, не загружая весь файл в память.

открываем файл (стрим), юзаем fseek, отправляем стрим на чтение на запись. То есть нам всеравно придется перезаписать весь файл, но мы это можем сделать через потоки и тогда не надо загружать файл целиком.

Добавить 1 символ в начало файла, не загружая весь файл в память.

Так же как и в предыдущем пункте. Только тут вместо fseek мы сначала добавим в новый поток один символ и потом добавим все из другого потока.

Короче почитайте чего про streams в php.

Comments

[Оптимус Пьян]

Можно мне пояснить если я не могу сделать fopen т.к. файл слишком большой и выбрасывается сообщение нехватки памяти а в fseek надо передать указатель полученный при открытии. В этом случае я могу только дробить большой файл на более мелкие? У меня нет никаких вариантов открыть частично и работать с ним на php?

[PO6OT]

$f=fopen($file, 'c');
fwrite($f, $symbol);
fclose($f);

Это решает первую задачу (перезапись первого символа)?

[Сергей Протько]

Дмитрий: fopen не читает файл напрямую, он лишь отдает тебе дескриптер файла, из которого можно сделать файловый стрим, читать по кускам и т.д.

все в php можно, все то же что и в Си.

[Сергей Протько]

Вадим Егоров: проверьте)

[PO6OT]

потоки сильно грузят сервер? а то мне ежесекундно файл надо изменять. при мощностях RaspberryPi или Shared-хостига

[v- smerti]

Вечная проблема пхп -шников почему то работа с файлами. :)

[PO6OT]

Владимир Грабко: ну потому-что пхп-шники как-правило школьники (нормальные программисты программируют на чём-то получше, хотя иногда PHP может понадобиться), которые учат, во-первых, только то, что нужно в данный момент, а не весь учебник, во-вторых, даже если учат весь учебник, то этого недостаточно.

[PO6OT]

Владимир Грабко: по себе говорю :)

[v- smerti]

Вадим Егоров: с чего такие выводы? 80% веба на нём. Вы думаете школьников вроде нас возьмут к себе на работу в офис?

[PO6OT]

Владимир Грабко: нет, работа с маленькими файлами для меня не проблема - читаешь содержимое файла, оперируешь с ним как со строкой, (пере)записываешь в файл. Другое дело - работа с большими файлами. Тут, как я понял, надо потоки изучать.

[PO6OT]

Владимир Грабко: пишут на php сейчас большинство - школьники. Это не могу доказать, но уверен в этом на 90%

[PO6OT]

Владимир Грабко: большинство сайтов на PHP пишет меньшинство нормальных разработчиков на PHP. А то большинство школо-PHP-разработчиков ничего то и не пишет особо.

[v- smerti]

Вадим Егоров: для работы с большими файлами я бы посоветовал написать микро сервис на Go с рест интерфейсом. И дело в шляпе )

[PO6OT]

Владимир Грабко: дело в бесплатности PHP-хостингов и популярности PHP.

[Сергей Протько]

Вадим Егоров: вот вместо тупых вопросов можно просто погуглить да разобраться, что такое стримы, как они работают и все такое.

[PO6OT]

Сергей Протько: ну и откуда бы я узнал, что надо гуглить, что такое стримы, если бы не задал вопрос?