Swift вам в любом случае нужно изучать. Потому что, в айфоне и часах больше разницы в элементах интерфейса, а логика работы самого приложения, она все равно плюс минус одинаково описывается в алгоритмическом смысле и не зависит от устройства.
То есть, чтобы было понятно, условно, например, спортивное приложение для бега, только внешне по разному выводится на экран на часах и айфоне, а внутри все может быть реализовано до определенной степени очень одинаково, тот же секундомер, тот же GPS-трек, та же запись данных в память (разве что в часах пульс добавляется, но это просто еще один датчик).
К тому же, есть приложения для часов с айфонной частью и айфон все равно освоить придется, хотя допускаю, что вы можете такие и не планировать. Но в любом случае, не думаю, что существуют такие программисты, кто может только для часов :)
Простой
Средний
