Я бы посоветовал Хорстманна, у него наиболее полная и глубокая информация

Я бы не советовал связываться ни с каким jsf/adf фреймворками, они глючные и почти не кастомизуемые. Дальше в зависимости от задач, если вам нужен красивый и функциональный клиент то пользоваться ZK я бы тоже не советовал (он имеет достаточно прикольный client-server binding который к сожалению не обделен багами).

т.о. для фронтэнда я бы посоветовал jsp, SpringMVC + возможно angularjs (зависит от задач).

Для бекэнда - Spring, Hibernate или SpringDAO, Jax-WS если вам нужна скорость и нормальная работа с дженериками я бы не использовал, советовал бы заморочится с трифтом тогда (http://thrift.apache.org/). Из application server-а скорее всего вам ничего ненужно, достаточно будет Tomcat-а (сервлет контейнер). Кеширование - да, EhCache.
Успехов!

Я бы советовал сразу учиться нормальному языку (например разобраться в java до уровня джуниора реально за ~ 2 месяца (зависит от человека) )

Игра в действительности отличная, советую продолжить - думаю не разочаруетесь

Вы правы - queses / topics это server-side.

По поводу уведомлений на клиент - а чем не нравится long poling? К тому же Servlet 3.0 (т.е. начиная с tomcat 7) поддерживает асинхронную доставку с сервера). Мы в проекте используем Spring MVC 3.2.3 и его DeferredResult - очень удобная штука, подробнее можете посмотреть здесь http://spring.io/blog/2012/05/16/spring-mvc-3-2-preview-chat-sample

т.е. ничего не мешает вам использовать pub/sub для серверсайд получения обновлений и последующей их асинхронной доставкой на клиент