Какую структуру данных выбрать для хранения данных в памяти?

Question

[click_f]

Требуется хранить большое количество пользователей (2-3млн). Для каждого пользователя имеется набор атрибутов. Для некоторых целей необходимо быстро вывести список пользователей убыванию/возрастанию некоторых из данных атрибутов.

1. Вопрос какую структуру будет лучше всего использовать для этого в общем случае?
   
2. Имеет ли смысл писать с нуля binary heap?
   
3. Какая из уже имеющихся структур данных java лучше всего подойдет для этих целей?
   

Comments

[click_f]

Ivan Sokolov: по хорошему, конечно для бд, но в условиях задачи прописано не использовать бд, redis, etc.

Answer 1

[Алексей Черемисин]

А зачем непосредственно в приложении это делать? Возьмите, к примеру, redis.io, в нем и храните. Там не только sortedset, но и hash и и сounters и еще кучу всего реализовано. Работает быстро, лежит в памяти, кластеризуется и шардируется.

В вашем случае удобней было бы держать ваши атрибуты в sortedset, где имя коллекции = атрибут, а значениями - id пользователей.

Answer 2

[Rou1997]

Всех пользователей сразу нужно вывести? А может все-таки не стоит их столько хранить в памяти?

Какая из уже имеющихся структур данных java лучше всего подойдет для этих целей?

Лучше, чтобы это не Java была, а C/C++, для этого используйте JNI, иначе ОЗУ будет много занимать, да и быстродействие вряд ли получится на высоте.

Comments

[click_f]

Согласен, но задача именно для java. Нужно сделать настолько, насколько это возможно именно на ней. Есть случаи когда нужно вывести только часть пользователей либо диопазон пользователей по некоторому диопазону.

[Rou1997]

click_f: Кто вас заставляет делать именно на Java?

[Алексей]

Зачем JNI? Unsafe/Varhandles/ByteBuffer тоже могут устроить. Ох уж эти плюсовики...

[Rou1997]

Алексей: Могут устроить, а могут нет, на C++ же оптимально.

[Алексей]

Rou1997: Нет. C++ не оптимален в данной задаче. Оптимальна для данной задачи БД. Что же касается противостояния C++ vs Java - попытки осветить его есть в этом видео. https://www.youtube.com/watch?v=dx_6oVFuP8Y
Оно достаточно любопытное, на мой взгляд, рекомендую посмотреть, если вы плюсовик. Заодно расскажете, как решить проблемы описанные в этом видео - будет любопытно почитать.

[Rou1997]

Алексей:
"Оптимальна для данной задачи БД."
А я на C++ не БД напишу? Чем?

"Оно достаточно любопытное, на мой взгляд, рекомендую посмотреть, если вы плюсовик."
И на том, и на другом пишу.