azazlo

Вот тут хорошо расписано про пересечение двух отрезков. Вам надо лишь перебрать все пары отрезков прямоугольника X треугольника.

upd: На этом же сайте есть все что нужно для проверки пересечения окружности и отрезков.