Какую key/value базу данных выбрать для словаря?

Question

[egorsmkv]

Здравствуйте.

Хочу сделать большой словарь где ключом будет хеш-md5, а значение его раскодированное значение. Какую базу данных для этого задачи мне выбрать?

Comments

[Roman K]

Насколько большой словарь?

[egorsmkv]

Roman Kitaev: пару триллионов

Answer 1

[leventov]

При описании задачи на выбор базы данных (в общем случае), key-value в особенности, что конкретно хранится - _последний_ по значимости фактор. А факторы надо учитывать следующие:

1. Уровень распределенности/параллельности: вам нужна распределённая база, или все на одном сервере? В рамках одного (или каждого) сервера, нужен конкурентный доступ, или все в один поток? Нужен ли одновременный доступ из разных процессов?
2. Какие _гарантии_ вы хотите от базы. Durable, persistent или volatile (in-memory)? Какие гарантии нужны по изоляции транзакций? Нужны ли транзакции с обновлением нескольких ключей?
3. Подходит ли вам лицензия на базу? Если база проприетарная, готовы ли вы платить за неё, и сколько?
4. Зрелость технологии, насколько стабильна последняя ветка.
5. Наличие мониторингов, интеграций с аналитическими и SQl-like надстройками типа presto, и т. д.
6. Популярность базы, размер сообщества, много ли ответов на Stack overflow, и т. д.

И только теперь

7. Скорость/эффективность по памяти, на что может (и то, не обязательно влиять) конкретный тип ключей и значений.

Пункты могут меняться по приоритету в зависимости от задачи.

Итог: по вашей вводной нельзя _даже приблизительно_ что-либо посоветовать.

Comments

[egorsmkv]

На самом деле пока это "домашний" проект, поэтому условия к выбору БД у меня очень слабые.

Отвечу по порядку на Ваши вопросы:
1. Распределённая, данных будет много и, очевидно, на одном сервере не поместится.
2. Требования у проекта простые (быстрая запись и чтение).
3. Open-Source.
4-5. Чтобы имела пару стабильных версий.

[avikb]

egorsmkv: вы не поняли пункт 2, там спрашивается про надобность транзакционности (+степени изоляции транзакций) и персистентности хранения данных...
(самая быстрая будет, естественно, с хранением всех данных в памяти и, соответственно, без блокировок и транзакций - в данный момент это redis)

[leventov]

avikb: редис не самая быстрая база

[leventov]

egorsmkv: это называется хочу того, не знаю чего. Не морочьте людям голову и не тратьте их время на тостере

[avikb]

leventov: если redis то кто? :) абсолютного лидера, конечно, никогда нет, у любого алгоритма/реализации есть идеальное применение и худшее. Но из существующих _популярных_ решений кто, если не redis? (в варианте k->v, без персистентности) Во-первых мне кажется критикуя надо предлагать свой вариант, хотя бы кратко, а во-вторых, если вы действительно знаете лучший вариант - то буду благодарен за ответ!

[leventov]

avikb: ага, ставите доп. условия. Ничего не сказать, Redis в десятке самых популярных баз в мире, и рядом с ним даже нет баз аналогичной модели, только durable. Почитайте highscalability.com/blog/2015/12/30/how-to-choose-...

Answer 2

[Walt Disney]

В общем случае REDIS это то что доктор прописал.
Если задача и язык позволяет, то можно поиграться с judy array

Comments

[egorsmkv]

Мне нужно много писать и читать на диск. Redis ведь используется, когда данных не больше, чем доступной памяти на машине. Или можно его настроить чтобы работал только с диском?

[Walt Disney]

egorsmkv: Редис это продвинутые хеш таблицы, которые можно раскинуть по нескольким серверам из коробки, но суммарной памяти должно быть больше чем данных. Это суть концепции что скорость доступа к данным не должна зависеть от их количества. Только с диском нельзя, т.к. он использует диск для хранения снапшотов памяти, а не для выполнения запросов. Живых форков которые используют диск сейчас кажется нет.

Если у вас проблемы с достаточным для редиса количеством памяти, то можно смотреть его родственников лишённых этой проблемы:

https://github.com/yinqiwen/ardb
hyperdex.org
inaka.github.io/edis/index.html
https://github.com/ideawu/ssdb
В последняя на 0.5TB данных у меня кушала 1GB памяти, с остальными только игрался.

И кстати можно попробовать Tarantool от мейлрушникв выбрав не инмемори, а дисковый стордж.

Ещё по вашем ответам догадываюсь, что упомянутые тут MongoDB, CouchDB, Cassandra вам не подойдут.

[egorsmkv]

Спасибо за ответ. Присмотрюсь к SSDB.

Answer 3

[Константин]

Из самых популярных, по которым тонны документации, в том числе на русском: MongoDB и CouchDB.
Монго более популярна, есть куча драйверов для любых сред, а Couch - на мой взгляд - проще и дружелюбнее.

Все остальное многообразие либо для более сложных задач, либо узкоспециальные решения, либо очередная попытка добиться совершенства в экспериментах.

Для быстрого освоения рекомендую "Litle Mongo Book" для MongoDB (в Сети есть русская версия, поищите на GitHub), а у CouchDB есть свой букварь и веб-интерфейс, с которым можно поиграться.

Обе системы есть и для Windows и для LINUX. Обе имеют сокетный и веб шлюзы. Обе могут работать как самостоятельные HTTP серверы, т.е. легко создать веб-приложение и кучу всего интересного. Особой фишкой обеих можно назвать возможность создания хранимых процедур на Javascript.

Cassandra - избыточное решение для Вашей задачи, которое может быть оправдано лишь в том случае, если разработка ведется на Java и для Java среды и все кроме Java не "это ж не Java" :).

Comments

[egorsmkv]

Мне без разницы на каком языке будет написана БД, главное чтобы хорошо справлялась с моей задачей.

Answer 4

[Кирилл]

hashmap же https://ru.wikipedia.org/wiki/%D0%A5%D0%B5%D1%88-%...

Comments

[egorsmkv]

Да, именно hashmap-база данных мне нужна.

[Кирилл]

egorsmkv: я к тому, что ответа вы ждёте дольше чем просто взять и написать свою реализацию

[egorsmkv]

Кирилл: Реализацию чего? Я интересуюсь мнением других людей, которые сталкивались с подобной задачей и какими инструменты в итоге воспользовались.

[Кирилл]

egorsmkv: дак у вас и задачи как таковой нет, нужен словарь k->v -вот ваша задача, я вам и предлагаю использовать по месту hash map что уж проще-то?

[avikb]

Кирилл: писать свою систему хранения нужно только если задача в ... написании системы хранения, то есть саморазвития :) если это просто инструмент в проекте, то заниматься созданием никем не поддерживаемых велосипедов очень плохая идея, и уж совсем печально, когда так делают в больших проектах.

[Кирилл]

avikb: тут не нужна система хранения, тут человек хочет для какой-то цели напихать в словарь хэш-значение

Answer 5

[spotifi]

Yandex Elliptics (если будете ставить из исходников - то легко это делается только на Ubuntu 14 и соответствуюего поколения Debian) - распределенное DHT-хранилище. Само реплицируется, восстанавливается, расширяется. Ваше дело будет только подключать новые компьютеры.