Знать всю математику не обязательно. Для 3Д-требуется тригонометрия и матрицы. Достаточно просто понимать как это работает, не обязательно транспонировать матрицы в уме.
Чесно говоря с современными средствами 3Д-моделирования и знаие языков программирования не обязательны, ведь модель это независимый объект, а использование языка уже реализация. Хотя такие знания абсолютно не помешают. Скачайте проект blender и поиграйтесь с ним для начала.
Дизайнеров, как грязи. Но стоящих дизайнеров - единицы. Вот как раз html/css дизайнеров больше всего. Но некоторые сайты при всей крутизне их дизайнерской реализации выглядят, дерьмово. Тут еще видимо играет свою главную роль и вкус, а в некоторых случаех и умение убедить заказчика.
И самое главное: не забывайте, что начать никогда не поздно.
ПС: Сам тоже имею интерес к этому направлению. При желании можно бы было объединить усилия.