Задать вопрос
@ldmitriy
python

Куда сохранять однотипный большой набор данных в Python?

К примеру, мне нужно обработать 1 млрд целых чисел. Где их хранить? В списке будет долго.
Или к примеру сохранить 1 млрд.словарей, но куда?

Что используют для обработки больших объемов данных?
  • Вопрос задан
  • 85 просмотров
Комментировать
Подписаться 1 Простой Комментировать
Пригласить эксперта
Ответы на вопрос 3
hottabxp
@hottabxp Куратор тега Python
Сначала мы жили бедно, а потом нас обокрали..
База данных на amazon, пара косарей баксов и храните все что угодно.
Ответ написан
Комментировать
Комментировать
fox_12
@fox_12 Куратор тега Python
Расставляю биты, управляю заряженными частицами
Ну к примеру числа (и не только) - удобно хранить в массивах, с которыми справляется numpy. А с очень большими объемами можно работать с h5py который работает с данными в формате HDF5
Ответ написан
Комментировать
Комментировать
Tanner
@Tanner
Огромный человекоподобный боевой робот
sqlite3.
Ответ написан
Комментировать
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы
Вакансии с Хабр Карьеры
Ведущий Python разработчик
Сбер • Москва
от 200 000 до 250 000 ₽
Python Developer
Nomadic Soft
от 2 800 до 3 200 $
Python-разработчик (Senior)
BCraft
от 3 500 до 4 500 $
Ещё вакансии