Какую выбрать базу данных для хранения 10 млрд строк?

Question

[Андрей]

Уважаемые специалисты по BigData,
у меня есть массив данных из двух полей типа Integer, в одном 200 млн уникальных значений, в другом 100 млн. Всего в массиве около 10млрд значений.

Требуется реализовать только два вида запроса:
1. Выборка по значению одного из полей.
select id1, id2 from bigtab where id1 = 123;

2. Выборка по списку значений с группировкой
select id1, count(id2)
from bigtab
where id1 in (<список значений>)
group by id1;

Как можно это сделать самым простым способом?

Comments

[Konstantin Osipov]

Сколько запросов в секунду вы хотите держать?

Answer 1

[Melkij]

74 гигабайта данных? Это big data разве? Я думал там речь начинается с террабайта.
postgresql, плюс партицирование по id1

Comments

[Андрей]

А если требуется делать выборки по обоим полям id1 и id2, то партиционирование подойдёт?

[Melkij]

Почему бы не подойти?

[Сергей Протько]

@aoberon если там реально только два поля используются - то подойдет.

[Андрей]

Просветите меня пожалуйста, как сделать партиционирование по двум полям одновременно?

Answer 2

[Пума Тайланд]

да можно просто и на mysql последнем сделать