Если очень кратко, то Вам нужно узнать скан-код, который посылается вашей крутилкой (если он вообще посылается) и заменить его на комбинацию клавиш по увеличению размера кисти (предварительно задав/узнав ее в фотошопе). Как я думаю, ручка должна посылать разные комбинации в зависимости от направления вращения.
Что необходимо:
1. Идем сюда, внимательно читаем "Специальные клавиши" в конце.
2. Как там описано, создаем файл .ahk, с единственной строчкой: #InstallKeybdHook.
3. Смотрим, что крутилка посылает.
4. Пишем свой скрипт, по типу:
SC159::
Send ^!b
return
В общем копать в ту сторону. За код не ручаюсь, писал на autohotkey очень давно.
P.S. Еще рекомендую погуглить "autohotkey midi remapping", посмотреть выдачу.