Фотошоп показывает значение пикселя с точностью 0.1 на линейке (Ctrl + R) и можно установить направляющие в нецелое значение (10,3 например) , но объекты (за исключением пожалуй рисования с помощью Brush) всегда отрисовываются и масштабируются по пиксельной сетке (это настроено по умолчанию). Посмотрите в панели view (просмотр) там есть настройки привязок и вспомогательных элементов (пользуюсь русифицированной версией - понятия не имею как элементы меню называются в английской)
Я наверное не понял сути вопроса, при установеке направляющей (guide) попробуйте зажимать клавишу Shift