Альтернативное решение стандартным методом плагина:$.mask.definitions['~']='[78]';
$("[name=phone]").mask("~ (999) 999-9999");
Первый символ можно ввести только 7 или 8.
Рекомендую еще допилить перестановку курсора в начало строки,
тут есть годная статья.