Какую ключ-значение БД использовать, чтобы работало быстро и без ошибок?

Question

[Guywithinterest]

Всем привет!

Я работаю над проектом, в котором есть несколько файлов, работающих параллельно, в каждом из которых множество потоков, работающих вечно и параллельно, и очень быстро.

Я использую для хранения/получения данных Redis, и вроде всё ок, но секунд через 20-30 работы программы, выскакивает ошибка

Error 10054 while writing to socket. Remote Удаленный хост принудительно разорвал существующее подключение

Объяснить её причину я не могу. Может, вы сможете подсказать.

Оставаться на Redis и пытаться решить ошибку? Или попробовать другую ключ-значение БД? Но надо, чтобы работала очень быстро и параллельно.

Comments

[Everything_is_bad]

Но надо, чтобы работала очень быстро и параллельно.

поэтому ты решил указать в тегах sqlite, который даже не key-value?

Redis подходит под твои критерии, значит косяк в твоей работе с ним. Не видя проблемного места и нормального сообщения об ошибке, сложно что-то подсказать

работающих вечно

такого не бывает

каждом из которых множество потоков, работающих вечно и параллельно

такое может быть только если они умеют release GIL, а лучше в современном питоне такое вообще через asyncio делать

очень быстро

приводи цифры, для кого-то 1rps это быстро, а для кого-то 10к rps медленно

[Jack444]

Стандартный словарь в питоне намного быстрее редиски работает, примерно 2кк рпс на одном инстансе.

Answer 1

[Daemon23RUS]

Оставаться на Redis и пытаться решить ошибку! Я из опыта могу точно сказать что 3-4 тыс соединений redis держит, и работает очень быстро. И работает месяцами...

Comments

[Guywithinterest]

Тогда не подскажете, что могу делать не так?
Редис выделен в отдельный файл как

POOL = redis.ConnectionPool(host='localhost', port=6379, db=1)
r = redis.StrictRedis(connection_pool=POOL)

def set_value(key, value):
    with r as redis_client:
        redis_client.set(key, value)

def get_value(key):
    with r as redis_client:
        return redis_client.get(key)

В остальные файлы, где с ним идёт работа, я только импортирую get_value, set_value, использую их и на этом всё.

[N]

Guywithinterest,

https://stackoverflow.com/questions/31663288/how-d...

[Алексей Черемисин]

По моему так должно быть....

POOL = redis.ConnectionPool(host='localhost', port=6379, db=1)
# r = redis.StrictRedis(connection_pool=POOL)

def set_value(key, value):
    with redis.StrictRedis(connection_pool=POOL) as redis_client:
        redis_client.set(key, value)

def get_value(key):
    with redis.StrictRedis(connection_pool=POOL) as redis_client:
        return redis_client.get(key)