@ruboss

Лучшее key/value хранилище для bigdata?

Всем привет!
Подскажите крутое key/value хранилище.
Самое главное для моей задачи - скорость при рандомном чтении, на втором месте скорость при рандомной записи. Также, ключи разной длины.
Хранилище будет основным, поэтому хранить данные в RAM нельзя.
Желательно наличие поддержки java.
Из самых подходящих нашел:

1) Leveldb (по 300М записей поиск 1000 записей за 7 сек, долговато в 1 потоке)
2) Bangdb (Ehash)
3) Kyoto (HashDB)

Те, которые с хэшем, у них хэш-таблицы хранятся в файле и затем загружаются в RAM и там постоянно находятся, но размер у них во много раз меньше чем размер данных.

Benchmarks:
leveldb - https://leveldb.googlecode.com/svn/trunk/doc/bench...
bangdb - 300ГБ и 4ККК еще работает =) bangdb.com/bangdb_embedded_one_billion.php
kyoto - fallabs.com/kyotocabinet/kyotoproducts.pdf

Это три лучших, судя по charts. Кто работал с ними, как вам?
  • Вопрос задан
  • 639 просмотров
Пригласить эксперта
Ответы на вопрос 2
begemot_sun
@begemot_sun
Программист в душе.
Riak ? Может не быстро, зато очень надежно за счет репликации данных по разным нодам.
Ответ написан
@polyhedron
Data Analyst | Data Scientist
Ну если прям уж для "bigdata", то можно посмотреть Apache HBase.
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Войти через центр авторизации
Похожие вопросы
Bell Integrator Ульяновск
До 400 000 ₽
Bell Integrator Хабаровск
До 400 000 ₽
Bell Integrator Ижевск
До 400 000 ₽
18 апр. 2024, в 21:56
2000 руб./за проект
18 апр. 2024, в 21:00
150 руб./за проект