Я бы для начального ознакомления посоветовал книгу В. Олифер, Н. Олифер
Компьютерные сети. Принципы, технологии, протоколы Для первоначального ознакомления с предметом подойдет замечательно. Дальнейшее изучение (более углубленное математически), наверное, стоит продолжить с Б. Скляр
Цифровая связь или Дж. Прокис
Цифровая связь 