1)Для начала нужно у хостера у кого весят ДНС-сервера с вашим доменом - прописать *.domen.com. (Можно оставить * , а можно и прописать поддомен)
2)Потом ловить этот поддомен на веб-сервере и перенаправлять его в папку с форумом.
Кто веб-сервер??
В коментах тостер рубит бб-коды.
Часть конфига:
<VirtualHost *:80>
ServerAdmin mail@mail.com
DocumentRoot ""
ServerName forum.domen.ru
ServerAlias www.forum.domen.ru forum.domen.ru
<Directory /var/www/forum>
Options Indexes FollowSymLinks MultiViews
AllowOverride None
Order allow,deny
allow from all
</Directory>
</VirtualHost>