1) Увеличьте радиус в КОРЕНЬ(2) раз, чтобы линии доходили до края квадрата - будет описаная окружность
2) Другой вариант (чтобы были точно в квадрате) - после получения координат x и y проверять их на то, чтобы они были в квадрате. Т.е. они должны быть в пределах от (Центр - R) до (Центр + R). Иначе ту координату которая выпадает из квадрата - приравнивать к ближайшей грани.
Например левая грань. Проверяем X - должен быть в промежутке от (Центр - R) до (Центр + R), если меньше (Центр - R), то x=(Центр - R), или если больше (Центр + R), то x=(Центр - R).
Аналогично все другие 3 стороны квадрата.