Когда кликаешь правой кнопкой у тебя есть координаты клика, потом ты строишь прямоугольник вокруг клика - значит сможешь найти координаты вершин прямоугольника - все координаты в системе координат окна. Вот по этой ссылке в разделе mouse selection
https://ahbejarano.gitbook.io/lwjglgamedev/3d-obje... есть простой способ как из оконных координат, матриц вида и перспективы найти направляющий вектор (направление куда указывает мышь - в твоем случае не мышь а вершины прямоугольника). Когда найдешь направляющие вектора в joml что ты используешь есть класс intersectionof а в нем методы на поиск пересечения луча и треугольника вот он тебе и нужен. (модель obj это треугольники на всякий случай). прогоняешь через этот метод все треугольники из модели и лучи что ты получил и вуаля у тебя есть треугольники что пересекаются с направляющими векторами из вершин прямоугольника. по идеи чтобы найти все пересечения нужно разбить весь прямоугольник на квадраты(50-60) и из середины каждого пустить направляющий вектор и найти пересечения с ними треугольников из модели. Это кривой и наивный способ, но рабочий.