Возможно стоит более конкретно сформулировать вопрос, потому что это достаточно большая область и для определенных задач нужен разный математический аппарат. Если хочется посмотреть на математику которая используется, то можно почитать "Общая теория систем: математические основы" Месарович.