Встраиваемое kv-хранилище от гугла -
leveldb вам в помощь. Обертки есть почти под каждый популярный ЯП.
leveldb используется для хранения транзакций в клиенте биткоиана, а там уже, на минуточку, объем БД перевалил за 200 гигов.
Только учитывайте, что магии не будет, когда БД в RAM не вмещается, и боттлнек будет на дисковой подсистеме. Сильное ускорение будет давать быстрый ssd, особенно который nvme через pci.
Поэтому на частые запросы обмазываемся кэшами и, возможно, радуемся.
Т.к. это встраиваемое хранилище, то всю сетевую обвязку придется реализовывать самому.
