Нужна любая нестандартная самописная защита, пусть и самая банальная. Просто боты настроены стандартно, врядли кто-то их будет переписывать конкретно под ваш форум.
Можно через javascript добавить какое-то лишнее поле в POST форму регистрации и проверять его наличие в php скрипте.
Что-то типа такого. Код добавляет скрытое поле в форму регистрации (нужен jquery). Боты не будут его вставлять в форму и по такому признаку их можно отсекать.
function SubFunc() {
$('#reg').append('<input type="hidden" value="1" name="JsPassed">');
document.reg.submit();
return false;
}
<a href="javascript:SubFunc()" >Регистрация</a>
Как вариант можно добавить какой-то алгоритм, который на основании ип адреса, например, будет совершать какой-то крипт или просто брать хэш и потом проверку на стороне пхп, но в 99% это будет лишнее, ибо если боты залетные, они и без этого сдуются.