На самом деле пока это "домашний" проект, поэтому условия к выбору БД у меня очень слабые.
Отвечу по порядку на Ваши вопросы:
1. Распределённая, данных будет много и, очевидно, на одном сервере не поместится.
2. Требования у проекта простые (быстрая запись и чтение).
3. Open-Source.
4-5. Чтобы имела пару стабильных версий.
Мне нужно много писать и читать на диск. Redis ведь используется, когда данных не больше, чем доступной памяти на машине. Или можно его настроить чтобы работал только с диском?
Mikhail: используйте implicitly_wait и Firefox. У PhantomJS, скорее всего, с динамической загрузкой страниц проблемы или её должным образом не реализовали.