Java EE - это набор стандартов. Причём актуальный. На этих стандартах Spring и построен. Можно не учить, и дело не в том, что будет тяжело, просто профессионалом не станешь. Будешь подобен девочке, знающей про свою машинку только то, что они красненькая и в неё иногда надо бензин заливать.
