aselockd

Как я уже писал в комментариях под вопросом, ошибок в вашем коде больше одной. Во-первых,
у вас Java 8, соответственно должно быть JNI_VERSION_1_8, а не JNI_VERSION_1_6.

Во-вторых, надо открыть архиватором jar-файл майнкрафта, найти в нём файл MANIFEST.MF и посмотреть в нём значение атрибута Main-Class. Вероятно, там будет net.minecraft.server.Main. Тогда надо поменять строку
FindClass("YourMainClass") на FindClass("net/minecraft/server/Main")

В-третьих, вы проверяете результат выполнения JNI_CreateJavaVM, но ошибкой может закончиться и любая другая операция, включая FindClass, поэтому надо добавить ещё проверок ошибок, чтобы не гадать, что произошло, над невнятным сообщением "Failed setting boot class path".

В-четвёртых, CallStaticVoidMethod заблокируется до тех пор, пока сервер майнкрафта не будет остановлен, то есть окно Qt так и не будет отображено. Если оно вам нужно, придётся JVM запускать в QThread.

запусти поиск по коду и ищи pragma comment. Либы можно не только через настройки проекта подключать, но и прям в коде
https://learn.microsoft.com/ru-ru/cpp/preprocessor...

Разумеется, сам boost тоже может либы дополнительные свои подтягивать. Так что приведи спсок тогО, чего от тебя линкер хочет.

Предположу, что вызов ent:LocalToWorldAngles(normal) приводит к неправильным результатам.
Попробуйте перевести HitNormal в локальный для объекта угол, а затем использовать этот угол каждый раз.
Для тестов поможет выводить в консоль (можно включить показ поверх экрана через developer 1) и вращать объект осторожно.

Обратите внимание, что LeftClick вызывается и на сервере и на клиенте (если это не cl_init.lua файл)
У игры есть Discord с отдельным каналом для вопросов по Lua.