1. Проверить все отрезки на пересечение. Найдем, пересекаются ли фигуры. Осталось найти, вложены ли фигуры. Одна фигура вложена в другую, если все точки фигуры вложены в другую (задача сводится к определению, находится ли точка внутри многоугольника)
2. Алгоритм сканирующей прямой. В качестве событий: вершины многоугольников, точки пересечения отрезков (есть подозрение, что можно обойтись без них). Во множестве храним стороны многоугольников, пока перемещаем прямую, их положение по вертикали меняется, но взаимное расположение не должно меняться