Да так и сказать, мол «отпуск. я отдыхаю! А вы — МариВанна, будете мне названивать — я сделаю то же самое в ваш отпуск. И в ваш, Александр Сергеевич!»
А если вы не доведете этот момент до сотрудников и тупо не будите отвечать на звонки\выключите телефон, то есть вероятность после отпуска получить расчет и прослыть негодяем