Для описания конечных автоматов, насколько я знаю, применяются "классические" разделы математики. В частности,
теория множеств. Посмотрите операции над множествами - это очень просто. Если и там некоторые значки кажутся непонятными, можно посмотреть значения
математических символов. Математически сам автомат записывается в виде, эм.. "кортежа" (
англоязычное описание мне видится более простым).
Надо всегда помнить, что, по-сути, в любом конечном автомате присутствуют лишь две простые сущности - события и состояния. Всё остальное - производное от них.
В здравом уме вдряд ли кто будет описывать конкретный конечный автомат в виде формул. Это проще сделать в виде графа или таблично. Формулы же используют для формальных описаний и доказательств.
Если очень "чешется" познать автоматы с самого начала, рекомендую пройти
специальный курс (скучный, как многие формальные вещи).