Cassandra
Удовлетворяет большинству ваших требований - column-based, MapReduce, отказоустойчивая архитектура, способность работать с огромными массивами данных. Редкая запись хорошо вписывается в модель работы column-oriented баз данных.
Можете почитать вот эту статью
kkovacs.eu/cassandra-vs-mongodb-vs-couchdb-vs-redis
У меня есть личный опыт работы с MongoDB (3.0, WiredTiger) в размере 200+GB и ~20 миллионов строк в коллекции c досточно высоким количеством записи/чтения. Пока даже без шардинга обходимся.
Можете также глянуть в сторону CouchDB, хотя все эти решения довольно разные
db-engines.com/en/system/CouchDB%3BCassandra%3BMongoDB