Пусть parser.php по ходу своей работы записывает данные (сколько данных обработано и осталось) в result.json. На клиенте просто периодически каждые N секунд запрашивайте result.json.
Для правильного вопроса надо знать половину ответа
Это что вы такое собрались хранить?
95*111*1029 байт ≈ 1034 байт ≈ 1022 терабайт
Значит покупаете тысячу миллионов миллионов миллионов винчестеров на 10 Tb и получаете своё хранилище.
в общем дле это поделка наших школотронов. Которые хоть и выросли уже, но развиваться не хотят. И поскольку проект изначально школотронский, то и притягивает он тоже школоту. Не требователен и на русском. Шаблон вообще не требует знаний в программировании, даже базовых. Шаровых шаблонов вагон. В общем hyjak hujak и сайт готов буквально в пару десятков кликов.
Универсальных решений нет т.к. все очень сильно завязано на приложение, его архитектуру и схему развертывания. Обычно в простых случаях восстановление делается руками, в сложных пишется скрипт.
Из своего опыта могу сказать, что такие скрипты быстро протухают и запуск такого скрипта через полгода-год это фактически опять отладка и дописывание скрипта вперемешку с эмоциями "какой $#% это писал". В связи с чем часто приходит мысль - "а может все-таки руками проще??"
