Нужно смотреть в раздел compression диалогового окна с настройками Photoshop PDF. Там нужно поменять разрешение: больше разрешение - лучше качество, а также уровень сжатия (если убрать сжатие - картинка сохранится в оригинальном качестве при заданном разрешении).