Ты подразумеваешь, что кружок выходит за границы квадрата, когда одна из его точек за пределами этого квадрата? Или когда его центр за пределами квадрата? Или когда все его точки за пределами квадрата?
"Есть вершины квадрата: (x1,y1), (x2,y2), (x3,y3), (x4,y4). Для определенности и не ограничивая общности допустим, что вершины перечисляются от левой верхней по часовой стрелке. Точка имеет координаты (x0,y0) и попадает в квадрат, если истинно условие:
(x0>x1 И y0>y1 И x0
Вот так, кажется..."
источник(
https://forum.na-svyazi.ru/?showtopic=212014)
В зависимости от того, что тебе требуется, нужно проверять данное условие, либо для центра, либо для нескольких точек на границы круга.
Возможно есть специальные формулы для определения пересечения геометрических фигур на плоскости, но я их не знаю, советую сменить тег на соответствующий(геометрия или что-то подобное). По сути, вопрос не по питону.