Моделирование транспортных потоков бывает имитационное (гидродинамическое) и автоматное. В первом случае, сеть дорог рассматривают как сеть труб с жидкостью и течением, во втором случае - как конечный автомат (близкий пример - "Жизнь" Конвея).
В качестве старта в математическое моделирование рекомендую таких авторов:
Пирумов У. Г. (нет, не фантаст) "Численные Методы"
Бахвалов, Жидков, Кобельков "Численные Методы"
Самарский, Михайлов "Математическое моделирование"
Ferziger, J. H. and Peric, M., Computational Methods for Fluid Dynamics, 2nd ed., Springer-Verlag (2001). ISBN 978-3-540-42074-3.