Берете уравнение вашей функции в виде F(x,y)=0. Подставляете туда x=x0+r*cos(fi), y=y0+r*sin(fi). Выражаете r через fi - вот и уравнение в полярных координатах.
Тут будет много формул. Во-первых, уравнение F(x,y)=0 надо составить через через эксинцесинтрет и фокальный параметр. Координаты фокуса тоже надо через них выразить. Во-вторых выражение с косинусами и синусами придется хорошенько причесать используя всякие тригонометрические тождества.