Что можно использовать для хранения массива данных с оперативным запросом данных по условию в Python?

Question

[Алексей Самойлов]

Условия:
1. Запущен celery worker, который заливает в течение дня каждые 10 секунд данные в Postgre. Объем данных в течение дня - 400мб - 1гб, в конце дня данные обнуляются;
2. По условию выполняется worker, который запрашивает данные из Postgre;

Есть ли какая-то удобная альтернатива, которая может заменить Postgre, предоставляя более высокую скорость?

Comments

[nirvimel]

Характер данных, формат, структура, объем отдельных записей?
Какие запросы к базе, объем выборки?
Чем не устроил PostgreSQL в плане скорости? Время исполнения запросов? Или грузит диск или CPU?

[Алексей Самойлов]

nirvimel: Данные табличные. Объем до 5млн записей, как я уже говорил от 0.4 до 1гб. В плане скорости на один запрос уходит до 300мс. С учетом усложнения запросов (увеличения кол-ва параметров) и увеличения кол-ва запросов, боюсь что может не обработать нужное кол-во запросов к базе.

[Roman K]

Алексей Самойлов: Конфиг постгреса и характеристики сервера в студию. А ещё структуру таблиц, индексы и запросы. 5млн - это не данные.

Answer 1

[Алексей Черемисин]

Если табличные данные типа логов, то альтернатив куча, весь вопрос - как эти данные обрабатываются. Альтернативы,
нетрадиционной ориентации:
- influxdb, mongodb, elasticsearch, redis
традиционной:
- mysql
- делее, везде.

Answer 2

[Dimonchik]

Aerospike

недавно сделали коннектор для третьнго Питона