Куда сохранять несколько миллионов записей из БД для последующей обработки?

Question

[ldmitriy]

Какую структуру данных выбрать чтобы не словить memory error.
Списки не подходят.

Answer 1

[Иван Шумов]

Код писать правильно. А потом масштабировать

Comments

[Roman K]

У тебя в каждом ответе только "масштабировать" и "масштабировать". Даже если у человека скрипт на один раз — всё равно масштабировать. Тебе не кажется, что ты тот самый человек, у которого в руках молоток из известного антипаттерна?

[Иван Шумов]

Roman Kitaev, масштабирование бывает разным. Очень разным

[Roman K]

Иван Шумов, просто задумайся. Я не советую менять свои показания или оправдывать их, я советую задуматься.

Answer 2

[Иван Мельников]

А почему вообще возникла идея сохранять данные куда-то, а не крутить ими прямо в БД? Во что вы уперлись?

Comments

[Roman K]

poisons, ну так-то, если все эти данные пришлось бы считать, то почему их не считать сразу, если оператива позволяет? Будет явно быстрее, чем по кусочкам тащить, мучая хард. Другое дело, что для этого нужно осознавать то, что ты делаешь и на чём это будет запускаться, а не просто делать так, "потому что".

[Иван Мельников]

Roman Kitaev, также нужно помнить, что сам SQL многие вещи может считать самостоятельно, причем значительно быстрее, чем внешний язык, и не забывать пользоваться этим.

[Roman K]

Иван Мельников, быть хорошим мальчиком в целом хорошо.

[ldmitriy]

Мне нужно на страницу большое дерево вложенности вывести

[FeNUMe]

ldmitriy, дерево из нескольких миллионов элементов? уверены что браузер прожует такой DOM?
Лучше в вопросе подробно опишите вашу задачу, больше шансов на полезный ответ.