1. Селениум - это драйвер для браузера. Инструмент, с помощью которого вы посылаете команду браузеру
2. Фантом - это браузер без графики. Селениум с ним тоже может работать. Фантом меньше ресурсов жрет (просто консольное приложение)
Дальше
Вам нужно UI протестить или серверную логику?
- Если у вас UI посылает запрос на сервер для регистрации и вам нужно проверить именно сервер, то проще сразу POST-запросы слать - тут вам ни селениум, ни браузер не нужны будут (просто на вашем любимом языке пишете отправку запросов)
- Если, все же, надо UI проверить - используйте селениум и любой подходящий браузер.