Меньше 1 потому, что в формуле рассматриваются отношения. Отношение квадрата разности координат к квадрату радиуса. И их сумма, в итоге, сравнивается с 1. Грубо говоря, если координаты точки совпадают с центром, сумма будет ноль, всяко меньше 1. Чем дальше от центра и ближе к окружности, тем ближе к 1 результат формулы. Если точка на окружности, формула даст 1. Точка вне окружности - формула даст больше 1.
Вот и сравнивают с 1 через if.