Почитайте по SDR (Software Defined Radio).
Возможно, вам нужно начать с цифровой обработке сигналов. Тогда можно почитать книги по ЦОС, которых много. Есть простые, типа "The Scientist & Engineer's Guide to Digital Signal Processing", Steven W. Smith (можно скачать бесплатно с сайта Analog Devices), есть очень серьёзный учебник Оппенгейм и Шаффер "Цифровая обработка сигналов", есть много других. Важно понимать, как работает дискретное преобразование Фурье, и как работают фильтры (рекурсивный и нерекурсивный).
Также нужно знать виды модуляции, работу модуляторов-демодуляторов и т.п.