Вам нужно либо вручную запустить команду /path/to/phpci/console phpci:run-builds, либо повесить ее на крон, она соберет все сборки из очереди.
Когда вы в админке запускаете сборку, он ее просто ставит в очередь, но не собирает. Это сделано для того, чтобы можно было например собирать по пушу в репозиторий.

P. S.: Сейчас на github-е есть предложение сделать вариант ручной сборки без очереди (поведение, как вы ожидаете), скорее всего через некоторое время что-то такое появится в проекте.