А сколько там Вам надо голосом общаться? Обычно голосом общаются только при знакомстве или если встреча лично.
Потом все письменно. Хотя, может быть, у Вас болтливый менеджер :)
Надо просто сразу донести до него, что Вы не можете общаться голосом, т. к. не хватает языковых навыков.