Не особо баловался релевантными функциями, но предполагаю, что:
1) transform object only - трансформирует только контейнер паттерна, не искажая паттерн.
2) -//- pattern only - трансформирует сам паттерн, не трогая контейнер
3) both - пропорционально трансформирует паттерн с контейнером в связке
use registration point for symbol - у символов есть свой центр ("точка отсчёта", начало координат), который задан внутри символа, как внутри отдельного файла (аналогия со смарт объектом). Опция, вероятно, предлагает трансформировать символ опираясь на его собственную точку отсчёта, а не относительно артборда, на котором лежит символ.