Как выполннить большой скрипт php через ajax?

Question

[Евгений]

Я не прошу какого то решения, просто хотя бы объяснить или натолкнуть в каком то направлении.

Есть скрипт который обрабатывает записи (не прямым запросов к mySQL, а через свой api). Он производит выборку из БД и потом делаем свои манипуляции с каждой записью. И постоянно идет ошибка о нехватки памяти на обработку скрипта...

Собственно вопрос, как можно разбить на последовательное выполнения (пошаговое выполнение) части кода или как правильно делать выполнение больших (загруженных) запросов?

Answer 1

[kompi]

Сегментировать выборку. И передовать параметр смещения через ajax.
Экспериментальным путём выяснить кофмортный диапазон.
Например, есть 1000 записей, нужно их всех получить, обработать и отдать на клиент.
Клиент запрашивает первые 100 записей, сервер их обрабатывает и возвращает + смещение.
Клиент склеивает результаты и запрашивает следующую пачку со смещением.
Цикл повторяется до тех пор, пока число возвращаемых записей не станет меньше 100 или получит произвольный флаг/параметр на остановку.

Comments

[Евгений]

Т.е. отправлять запрос ajax с параметрами ограничивающие кол-во обрабатываемых строк в php и потом следующий запрос?

[kompi]

Да

Answer 2

[Stalker_RED]

Как вариант, посмотреть в профайлере на что именно расходуется память, и попробовать устранить утечку. Если не получится - тогда сегментировать.

Answer 3

[Павел Волынцев]

А. Экономь память
1. Храни как можно меньше данных в памяти. Запросы в БД делай через курсоры, чтобы извлекалось меньше записей. Не используй жадные выборки без перечисления полей (SELECT *) особенно если в запросе есть JOIN.
2. Не храни в памяти сырые данные. Копи суммы по каждой записи, веди счётчики где надо, вычисляй функции, даже формируй HTML по мере чтения, но целиком выборку в память не собирай.
Б. Используй очереди (RabbitMQ и другие) для реализации асинхронности, чтобы браузер не ждал бесконечно ответа. Ответ запрашивай отдельным запросом
В. ... или сделай сервер Comet и пусть PHP сам выдаст результат, когда закончит работу