Minecraft Java Edition имеет собственный не OpenSource движок.
Для взаимодействия с графикой используется lwjgl (Light Weight Java Game Library). Сам пробовал с ней работать, писать собственный движок, библиотека не очень сложная, по сути предоставляет интерфейс к C-шным функциям OpenGL, Vulkan и т. д.
Если интересно, то обязательно попробуйте, не будет лишним для опыта.

Чтобы дать возможность людям создавать свои расширения для игры (моды), был создан Forge API, скачать его на любую доступную версию можно с официального сайта forge - https://files.minecraftforge.net.
До версии 1.7.10 эти jar-ники назывались SRC, позже были переименованы в MDK (Minecraft Development Kit).

Что касательно Bedrock Edition, движок был полностью перенесён с Java на C++, а в качестве библиотеки рендера теперь используется DirectX (Так же реализована поддержка OpenGL и его можно выбрать в качестве отрисовщика).

Кратко: Java Edition имеет собственный движок на Java, рисует с помощью lwjgl (OpenGL); Bedrock Edition имеет тот же движок с минимальными отличиями, но на C++, рисует с помощью DirectX и если захочется, то OpenGL.