с одной стороны, вы сами ответили — дело в договоре — или он тоже рисовал в свободное время, как стихи, а не для той конторы?
с другой стороны, на мой взгляд, портфолио никому не принадлежит, это как резюме, только в другом формате. соответственно дизайнер может его показывать кому угодно в качестве примера своих работ. но вопрос, как вы их выложите на своём сайте — «наши работы», «работы нашего дизайнера», ...? в первом случае не очень честно.