Фотошоп растрирует вставленный вектор, насколько я помню. Отсюда большой вес и низкое качество. Нужно делать наоборот - делать документ в иллюстраторе, при необходимости вставлять в него PSD, и из иллюстратора сохранять PDF. Либо собирать графику в InDesign, он тоже умеет сохранять подлинкованный вектор из иллюстратора, не растрируя его
