Математика нужна. Вся компьютерная наука построена на математике. В особенности пригодится дискретная математика, математическая логика, методы оптимизации, алгоритмы, аналитическая алгебра и геометрия и др.
Все зависит от задачи. В 3d графике точно пригодится и при решении специфичных задач. Многие классические книги по алгоритмам идут с мат анализом.
Я тоже ее не знал когда поступал в универ. Хотя и программировать немного умел. Но чем дальше учился, тем больше осознавал, что она нужна.
Математика - это фундаментальная наука. Технологии появляются и исчезают. А математика остается. Это весомый аргумент, чтобы ее изучить. Тем более если ты хочешь быть настоящим инженером.

Изучай то, что щас в мейнстриме. Если новая технология появится в мэйнстриме, тебе не составит труда ее быстро освоить.
Не стоит изучать новую технология и ждать ее актуальности в будущем. Учи то, что актуально сейчас.

Что-то я не слышал про OpenGL в браузере. Да и смысл изобретать велосипед? Почему не использовать готовый 3D движок. Боюсь пока вы напишите свой движок, актуальность вашей игры потеряется. И до манетизации может не дойти. Я бы выбрал Unity. + билдит под все платформы, windows linux osx ios android windows phone.
Монетизаци ИМХО данат самый грамотный вариант.