Каким образом возможно отправив один ajax получать данные и сразу же их обрабатывать, не дожидаясь окончания запроса?
Вы ищите websockets. Но там есть куча нюансов.
т .е я хочу получать json массивы(ссылки на фото) и сразу же их выводить в рамках одного запроса
В чем проблема то? Оборачиваете в некую коллекцию и ее уже ее сериализуете в json.
на сервере крутится php - codeigniter.
NO! Не тыкайте труп палкой, пусть уйдет достойно.
не хочется пулять много ajax на запрос за каждой порцией данных.(из-за постоянных переоткрываний соединений с дб ,перезагрузки ядра фреймворка и т.д ,)
Вы пытаетесь решить
надуманную проблему методом, который ее не решит.
Нагрузка с БД как правило снимается за счет:
* настройки индексов
* оптимизации запросов
* кэширования.
...
...хочется чтоб все обработывалось одним процессом на сервере
Круто, зачем вам php тогда?
в сторону какой технологии смотреть, подскажите composer библиотечку и т.п?
Как минимум:
* SOLID
* PSR-2,3,4,7
* Symfony / Silex