Как построить распределенное, отказоустойчивое, быстрое хранилище данных?

Question

[selenite]

В стиле Keyvalue|IMDG, с C++-интерфейсом.

Итак, дана ситуация, в которой PM хочет горизонтальное масштабированиие и несколько точек входа на запись.

При этом, поскольку система работает с достаточно высокими требованиями по доступности, нельзя тратить время на ручное переключение Master-slave, поэтому редис пролетает.

Размер рабочего сета - порядка 20 гб (т.е. в оперативку влезет).

В медленном рассмотрении/тестировании - Infinispan, Elliptics, Riak.
Redis не хотим - Master/Slave с ручным переключением.
Coherence и Gemfire, скорее всего, пролетают.

Если кто использовал такие штуки в продакшне, порекомендуйте, пожалуйста.

Comments

[selenite]

Riak, Tarantool - тоже не айс

Answer 1

[portfelio]

Выбирайте Riak, хотя возможно вам хватит и Tarantool.

Comments

[selenite]

Riak медленный. 700мкс на запрос.
Tarantool - Master-slave. Ручное переключение и здесь.

[portfelio]

А можно пример данных и запроса, который проверяли на Riak. А также метод доступа, REST поди?

[selenite]

Я использовал бенчмарк от Basho, настроенный на 1 put/10 get ключей. сгенеренных по такому-то диапазону интов )) Метод доступа - нативный C
клиент через Protobuf.

[selenite]

> cat test.config
{mode, {rate, 500}}.
{duration, 1}.
{concurrent, 3}.
{driver, basho_bench_driver_riakc_pb}.
{key_generator,{int_to_bin,{uniform_int,1000000}}}.
{value_generator,{exponential_bin,1024,50}}.
{riakc_pb_port, 10017}.
{riakc_pb_ips, ["127.0.0.1","127.0.0.2","127.0.0.3"]}.
{riakc_pb_replies, 0}.
{operations, [{get, 1},{put, 10}]}.

[selenite]

на #riak был, обсуждал, мне сказали, что такая задержка - это божий дар.