1. Есть две плоскости в единой системе координат (плоскость круга и плоскость, куда мы его будем проецировать).
2. Производим расчёт проекции любой произвольной точки, принадлежащей одной плоскости, на другую плоскость (3D):
здесь.
3. Принадлежность точки кругу или эллипсу - проверяем точно также (п.2), используя нужную плоскость для проецирования точки на другую плоскость.
(Для окружности/круга: только частный случай - если речь не идёт об использовании перспективы/рассеивания! Например,
не подойдёт, если необходима проекция луча прожектора с использованием перспективы)
PS: Приведение кривой второго порядка к каноническому виду (2D):
тут.
Нужно подставить координаты 5-ти точек (уже спроецированных на плоскость) в каждое уравнение 2-го порядка и решить систему из 6-ти уравнений (5 и 1 канонический вид для эллипса) и 2-х неравенств (для коэффициентов эллипса) для поиска всех коэффициентов уравнения 2-го порядка для эллипса и при необходимости, привести его к каноническому виду.