Можно взять один из популярных движков форума
IPB,
BB Press,
PHPBB,
vBulletin. Хорошие шаблоны на них с точки зрения дизайна и СЕО, гуглятся на раз по запросам вида:
скачать html5 тему для IPB бесплатно и т.д. Вместо IPB подставьте название вашего движка.
Как уже отметил
dimonchik2013 нужно пригласить на форум экспертов вашей тематики форума. Желательно публиковать время от времени уникальный контент, можно сливать хайды с других форумов и т.п. Можно создать закрытый раздел с Premium подпиской ( приватный раздел ), время от времени напоминайте своим пользователям об этом, подогревайте их интерес интересными постами и темами.
Основная задача, сделать так, чтобы вы сами могли чётко ответить на вопрос: "
А зачем пользователям нужен ваш форум?".