α — угол DOH (насколько повернули квадрат)
β — угол DHO, γ — HDO (45°), DO — половина диагонали исходного квадрата (константа)
β = 180° - α - γ = 135° - α
По теореме синусов при 0° <= α <= 90°
DO / sin(β) = HO / sin(γ) =>
HO = DO * sin(γ) / sin(β) =>
HO = DO / (sqrt(2) * sin(135° - α))
Но как вы хотите запихать эту формулу в CSS это сложный вопрос
