Выделение контура происходит с учётом полупрозрачности. Если у полностью непрозрачных пикселей легко обводку нарисовать, то что делать с полупрозрачными градиентами? Вот и фотошоп толком ответа не знает и полупрозрачные обводит жирненько и корявенько. Если вырезать без полупрозрачностей, чтобы граница была чётко прозрачные-непрозрачные, то и обводку можно сделать строго в один пиксель (если выбрать внутри/снаружи, но не по середине).