class loader, JMM, GC
Это не core, а продвинутые штуки. Их необязательно знать, чтобы программировать на java.
Если хотите углубиться, то маст хэв - это многопоточность. Лучшая книга на эту тему - Java Concurrency in Practice. Читайте на английском, так как русский перевод ужасен.
Далее Effective Java, Джошуа Блоха. Классика. Нельзя считать себя java профессионалом, не прочитав эту кингу.
Ну и
JLS. Это уже высший пилотаж. Очень сложное чтиво.
Ещё посоветую смотреть записи докладов с конференций jpoint, jug, joker. Довольно доходчиво объясняют сложные вещи.