Верный инструмент для обработки больших бинарный файлов на сервере приложения?
Здравствуйте. Возник вопрос правильного подхода и выбора инструмента.
Есть сервер приложения, на котором крутится api, написанное на PHP. Его задача в обработке больших бинарных файлов (от 100 Мб до 1000 Гб). Она состоит в чтении файла, отсылке клиенту метаинформации о нем в XML, получении от клиента инструкций по его обработке, перезаписи файла с внесенными изменениями, занесении в БД инфы о файле. Сейчас все операции с бинарниками производятся парой программ на C с использованием 64-разрядных функций из unistd.h . Программы вызываются из php через exec(). Система, ввиду своей разнородности, работает не всегда стабильно, плюс довольно неудобно вносить какие-нибудь изменения в код.
Хотелось бы услышать совет, как было бы верно выстроить такую систему. Как можно максимально интегрировать вызов шелла, чтоб не страдать от разнородности. Стоит ли здесь вообще использовать C, возможно, имело бы смысл вести обработку моих файлов на самом php (знаю, что изврат, но насколько плохая будет производительность?). В общем, хочется практических советов от коллег. Спасибо.
