Ну, как минимум они увязали номер телефона и Вашу личность - то есть подтвердили следующее:
- телефон живой
- на телефон отвечает человек
- на телефон отвечает именно тот человек, который в базе
Когда в разговоре возникает заметная пауза - это значит та сторона ожидает голосовой ввод. Как минимум, она может его записать и потом использовать для идентификации в системах, где аутентификация идет по голосу. (Кстати, это может означать, что диалог с Вами вел не человек, а скрипт, проигрывающий заранее записанную схему)
спасают ли сухие ответы да/нет от дальнейших нежелательных действий?
нет. Лучше незнакомые номера вообще не брать.