Сейчас у тебя время отклика на локальной машине такое - вполне может быть. учитывая что скорей всего большей части логики у тебя не реализовано (денвер кстати очень медленно работает).
Когда ты выложишь это на сервер прибавь сетевые задержки (в лучшем случае в районе 50мс на каждый запрос, так как на обычных хостингах врятли ты найдешь приемлимый уровень задержки). Если у тебя будет достаточно хорошая машинка, где не будет ограничения допустим в 10 потоков, а будет нормальное их количество, то все должно быть нормально. Твои 5 человек, да даже 25, выдержит без проблем обычный хостинг, но это нужно проводить тесты, а не говорить как я гадая на кофейной гуще.
А вообще если у тебя есть элемент реалтайма, где надо вовремя нажать кнопку, лучше всего по моему подходит WebSocket в твоем случае.