Между вами и вашим собеседником находится обычная сеть, которая взаимодействует по протоколу TCP/IP. Это означает, что пакеты с данными могут идти между вами и вашим собеседником различными путями, через разные сетевые устройства. Какой-то пакет может потеряться, какой-то пойти далеким путем. Из-за этого возникают разрыва в разговоре. При обычном веб-серфинге это не заметно, при просмотре видео - его можно кэшировать. А вот паузы в разговоре в реальном времени - это не здорово, их не закэшируешь. Такие паузы называются джиттер.
Причина плохой связи проста: потеря пакетов, а вот почему они теряются - это хороший вопрос.
Скорее всего у вас еще может связь беспроводная - WiFi, или мобильный интернет. Если при этом вы двигаетесь - то у вас может меняться уровень сигнала и некоторые IP-пакеты пропадать. Может QoS на сетевом оборудовании провайдера работает не верно, и сосед по площадке качает торренты. Причины потери пакетов могут быть любые.