Надеюсь, иллюстрация вашей задачи поможет сориентироваться.
На схеме A, B, C, D – данные 4 точки.
E — пятая точка, с нахождением (X, Y) которой у вас пятая точка.
Тригонометрия, школьная программа. OE = 5. Угол AOE = 100°
Надо найти OF и OG
OF = OE * cos(a)
OG = OE * sin(a)