Мне кажется стоит использовать тот же принцип, что и в фотошопе: там такая витиеватая окантовка получается за счет смешения двух эффектов - бевела и строука.
Возможно, стоит рыть в сторону создания и наложения друг поверх друга двух окружностей с разными градиентами, интерференция которых будет похожа на сабж.