Как организовать перебор и обработку большого кол-ва данных?

Question

[Ильяс Галиев]

Нужно перебрать, обработать и выдать в качестве xml минимум 2к товаров.
Но проблема в том, что сервер, на котором работает модуль, очень слабый и не выдерживает такой нагрузки.
Как лучше всего сделать это?

Answer 1

[Александр Аксентьев]

Не писать говно код.

Дебажить что съедает все ресурсы или время и исправить

Comments

[Ильяс Галиев]

А если более подробно? Я должен хранить в массиве от 2к товаров и, допустим, это и есть узкое место?
Может если сразу писать в xml, то нагрузок меньше будет и т.д.

Answer 2

[Night]

А какой такой нагрузки то?
Пишите так, чтобы в памяти не хранить за раз большое кол-во данных, записывайте сразу все на диск, и у вас не будет проблем с "нагрузкой", максимум - будет долго выполняться.

Comments

[Ильяс Галиев]

Был такой вариант. Ну запишу я 100 товаров за раз, но дальше то все равно надо будет заново загружать xml и хранить это в оперативке. Или не так?

[heartdevil]

Ильяс Галиев: Привет. Создаешь порциями и через каждые, скажем, 500 итераций выгружаете в файл. Что вы хотите заново загружать?

[Night]

XmlWriter - вперед за забрёжку!

Answer 3

[Алексей Скобкин]

Но проблема в том, что сервер, на котором работает модуль, очень слабый и не выдерживает такой нагрузки.

Делать это через PHP CLI. Брать товары из БД пачками, а не загружать сразу все в память.