Status = SIDH_curve_initialize(CurveIsogeny, CurveIsogeny->RandomBytesFunction, PCurveData);
Здесь вы инициализируете
CurveIsogeny, и при этом подаёте
CurveIsogeny->RandomBytesFunction, который на момент вызова функции инициализации равен NULL. Вы должны дать ему внешнюю функцию, генерирующую случайные значения. И она как раз будет помещена в
CurveIsogeny->RandomBytesFunction.