Я бы в таком случае добавлял обе вершины от второго многоугольника, которые лежат на первом. Так все новые ребра каждого многоугольника или целиком не пересекаются со вторым, или целиком лежат внутри него, или целиком на его границе.
Т.е. действительно, в вашем случае надо в AIJH добавить точки ABKJH.
Образуются ребра длины 0 - значит повторяющиеся вершины надо просто выкинуть.
