Алгоритм чтения большого количества файлов на php

Question

[s_romko]

Добрый день!
Не могу понять как построить алгоритм для создания резервной копии. Имеется большое количество файлов и папок, как их все считать для начала, например, в файл, чтобы потом потихоньку добавлять в архив zip? Проблема в том, что отведенного времени на выполнение скрипта php может не хватить - надо разбить на шаги.
Требуется хотя бы ссылка на материал, который прольет свет на эту проблему или каркас скрипта.

Заранее спасибо!

Comments

[Роман Булгаков]

что вызывает код? консоль/крон или запрос из браузера?

[FanatPHP]

А при чем здесь РНР, стесняюсь спросить.

[s_romko]

Прошу прощения за неточности. Отвечаю:
1. вызываться будет из браузера;
2. php - язык на котором пытаюсь реализовать данный алгоритм.

[Mikhail Osher]

А crontab + tar не подходят?

Answer 1

[Сергей Величко]

Возможен ещё вариант:
1. Из браузера по AJAX фоном посылаем запрос на запуск процесса архивирования (ответа моно и не ждать), в php скрипте на сервере используем "set_time_limit(0)", чтоб скрипт не умер по таймоуту, в скрипте архивируем файлы и периодически в сессию пишем прогресс (сколько упаковано, сколько осталось, что сейчас упаковываем) и считываем из сессии некое значение, которое может сказать нам, что нужно прекратить процесс архивирования.
2. Периодически из браузера делаем AJAX запрос, на сервере читаем значения прогресса из сессии и высылаем браузеру.
3. Если нужно будет прервать процесс, то по AJAX посылаем серверу запрос, на сервере в сессии устанавливаем некое значение, которое скажет архивирующему скрипту, что нужно прекратить.

Удобно тем, что да же если закрыть браузер, то процесс не остановится и при повторной попытке можно узнать, что ещё архивируется и получить статус.

Comments

[s_romko]

Как раз так начал делать - постепенно дошло :) Спасибо

Answer 2

[Никита Гусаков]

Да никак не сделать - php создан чтобы умирать!!!расрас111
Есть такая штука как очереди, туда добавляешь таск "собрать в архив такие-то файлы", а потом раз в 5 секунд, например смотришь готово или нет.
Еще есть вариант с сокетами и лонг пулингом, но я думаю это слишком сложно для такой задачи

Comments

[s_romko]

Мне все таки кажется, что как-то можно :) Что за таск?

[FanatPHP]

Мне всё-таки кажется, что пых сюда притянут за уши, и не нужно пытаться решать эту задачу в лоб. А вместо этого настучать автору по голове, и рассказать о том, что существуют другие инструменты. Рассказывать же про сокеты и очереди человеку, у которого главная проблема - таймаут на выполнение похапе скрипта онлайн.

Answer 3

[FanatPHP]

Не надо пытаться ничего реализовывать через пхп.
Надо узнать о существовании специализированных инструментов.
В частности, если надо заархивировать каталог с файлами, то это делается командой
tar -czf archive.tgz /path/to/catalog
Эта команда добавляется в крон.

А на похапе ничего изобретать не надо

Comments

[Сергей Протько]

ну или опять же вызвать команду эту из php

[Борис Сёмов]

> ну или опять же вызвать команду эту из php Нафига? =)

[xmoonlight]

@kotomyava +1 ))))))))))))))))

Answer 4

[Сергей Величко]

1. Из браузера по AJAX запрашиваем список файлов требуемых для упаковки. В это время на сервере его подготавливаем и устанавливаем признак начала процесса (симофор, например: lock файл, который будут обязаны проверять другие скрипты, чтоб не изменять структуру каталогов и файлов, и что бы не запускался процесс архивирования повторно, пока есть работающий процесс).
2. Если с сервера прийдёт сообщение, что процесс запущен, выводим в браузере сообщение.
3. Если получили список файлов, то перебираем список и по AJAX поочерёдно отправляем запрос на добавления файла в архив, при этом можно выводить прогресс в браузере (сколько упаковано, сколько осталось, что сейчас упаковываем).
4. Когда перебрали все файлы, то посылаем AJAX запрос и говорим серверу, что закончили, на сервере снимаем симофор, и посылаем в ответ url на скачивание архива (если необходимо).

Только может возникнуть проблема, когда страницу в браузере закрыли, тогда симофор не снимется и повторно скрипт не заработает, для решения, можно проверять когда он был установлен и по истечении некого времени игнорировать, либо сделать кнопку принудительного запуска.

Answer 5

[s_romko]

Прошу прощения за неточности. Отвечаю:
1. вызываться будет из браузера;
2. php - язык на котором пытаюсь реализовать данный алгоритм.

Answer 6

[Владимир Болиев]

Как получить список директорий и файлов
Что такое рекурсия
Как работать с ZIP в PHP
Как увеличить время выполнения скрипта

Comments

[s_romko]

Спасибо за ссылки, но это я все знаю. Я не знаю как разбить на шаги, т.е., например 20 секунд прошло - перегружаем страницу и начинаем заново именно с того места где остановились.

[Владимир Болиев]

Зачем перегружать страницу?

[s_romko]

Ну тут допустим может быть и не перезагрузка страницы, а новый ajax запрос, суть в том, как именно в рекурсии сделать остановку и продолжение с момента остановки, да еще так, чтобы повторно по одним и тем же файлам не проходить?

[Владимир Болиев]

Еще раз, зачем это нужно? Почему все не сделать за один раз? Если из-за времени выполнения скрипта - обратите внимание на последнюю ссылку

[s_romko]

Так как файлов может быть очень много. Да про увеличение времени выполнения я знаю, но такой вариант не подходит. Нужна именно пошаговость и в ней загвоздка.

[Владимир Болиев]

Все же, я бы посоветовал пересмотреть этот вопрос. Бывают скрипты, которые выполняются часами, ничего в этом страшного нет. Конечно запускать их нужно через консоль/крон

Answer 7

[hacker2001]

подключись по фтп с локальной машины с помощью питона и сделай дамп

Answer 8

[Нез Нурик]

Если человеку так сильно хочется заморочиться, то почему бы и нет? Ситуацию "в процессе упаковки в архив добавилось еще 100500 файлов" я не рассматриваю. Предполагаю, что с момента запуска скрипта и до его завершения, список файлов неизменен.

Для выполнения задачи нам понадобятся два скрипта - сервер-"упаковщик" и клиент-"вопрошатель".

1. Из браузера запрашиваем "вопрошатель", он по некоему признаку, например, по lock-файлу или по списку процессов определяет, что:
а. "Упаковщик" не запущен
б. "Упаковщик" запущен - goto п.3
2. Если "упаковщик" не запущен - запускаем
3. Читаем файлы list.log и done.log, получаем количество строк в обоих; первый - список всех файлов, второй - список уже запакованных.
4. Показываем пользователю, сколько файлов запаковано, сколько осталось.
5. Обновляем страницу (через жабаскрипт, через мета-рефреш, да хоть через reset компа) и goto п.1

При запуске, "упаковщик":
0. При необходимости, вешает lock-файл для "вопрошателя"
1. В файл list.log собирает список всех файлов, которые нужно заархивировать.
2. В цикле:
а. построчно читает файл
б. добавляет файл в архив
в. записывает имя файла в файл done.log
3. По завершению - умирает, как и положено любому нормальному скрипту на пыхе.

Ну, мы же не ищем легких путей, правда? Нужно обязательно это делать на PHP, пошагово, чтобы пользователь видел все процессы. Да, при большом желании в "упаковщике" можно еще сохранять не только имя файла, но и размер файла. А потом написать хитрую магическую формулу для рассчета времени запаковки. Но это уже отдельная тема, которую предстоит автору задать в отдельном вопросе.

Comments

[s_romko]

Спасибо за ответ. Думаю завтра будет нормально времени разобраться и попробовать.

[FanatPHP]

Жаль здесь нельзя голосовать против. Ну, думаю, скоро введут такую возможность.

[s_romko]

Против такого подхода который я хочу реализовать или против комментария? Т.е. что конкретно не айс сам вопрос или ответ другого пользователя?:) Это так ради интереса.