У меня первая мысль была такая:
1. Создать треугольник. Добавить все его рёбра в список.
2. Взять случайное ребро из списка, оно будет основанием нового треугольника.
3. Сгенерировать точку так, чтобы получился новый треугольник, ни одно из рёбер которого не пересекает рёбра из списка. Два новых ребра добавить в список, основание убрать.
4. Повторять с п.2 пока не будет достигнута требуемая площадь многоугольника.