Если я правильно понимаю, вы хотите сравнивать с точностью до искривления. Я бы составил параметрическое уравнение кривой и взял вторую производную d^2 f / dt^2. В каждой точке это будет нормаль к кривой. Нужно для каждой кривой записать последовательность, когда эта нормаль слева от кривой, когда равна нулю (кривая идет прямо или точка перегиба), когда справа. Получится такая строчка, например, +1,0,-1,...,1. Ну и их сравнивать.
Знак можно получить, например посчитав детерминант матрица 2x2 составленный из векторов для первой и второй производной. Можно попробовать сделать это сначала численно. Если подходит, попробовать решить аналитически.
