Если просто определить, выпуклый многоугольник или нет, то воспользоваться одним из его определений:
многоугольник без самопересечений такой, что каждый внутренний угол которого не более 180°;
Ответ: Проверить все углы, если каждый угол <= 180°, то это выпуклый многоугольник.
