На мой взгляд, эта задача на фильтрацию и поиск максимума/минимума. Очевидно, что такой треугольник (если он не вырожденный) состоит из:
1. Точки на Ox, имеющей минимальную координату по x
2. Точки на Ox, имеющей максимальную координату по x
3. Точки не на Ox, имеющей максимальную по модулю координату по y
Такой поиск делается за один проход по точкам.
