для форума, думаю реляционная БД в любом случае удобнее.
В теории, если он достигнет размеров Хабра, можно будет вообще переписать продукт, к тому времени накопятся хотелки, накопится опыт что и как работает, что востребовано и что нет.
База данных же скорее всего просот масштабируется, Индексируется, кластеризируется.
Посмотрите как спроектированы базы популярных форумов (xenForo, IBP, vbulletin)- ничего особенного нет, хотя рассчитаны на огромное количество юзеров, но это решается больше железом. И все на реляционных базах.