Куда сохранять однотипный большой набор данных в Python?

Question

[ldmitriy]

К примеру, мне нужно обработать 1 млрд целых чисел. Где их хранить? В списке будет долго.
Или к примеру сохранить 1 млрд.словарей, но куда?

Что используют для обработки больших объемов данных?

Answer 1

[Сергей Карбивничий]

База данных на amazon, пара косарей баксов и храните все что угодно.

Answer 2

[Владимир Куц]

Ну к примеру числа (и не только) - удобно хранить в массивах, с которыми справляется numpy. А с очень большими объемами можно работать с h5py который работает с данными в формате HDF5

Answer 3

[Джок Таннер]

sqlite3.