А вот знаки, формулы, код - вот что я люблю, но и тут надо как-то определиться.
Если тебе интересны реализации сложных алгоритмов, а это и есть "знаки, формулы, код" - копай в этом направлении. Это может быть всё что угодно - AI персонажей в игре, транспортная логистика в онлайн-сервисе, распознавание образов в мобильном приложении и т.д. Практически в любом сложном проекте найдутся задачи, требующие сложных проработанных решений, для реализации которых потребуются глубокие знания в математике и используемом ЯП.
По-поводу используемого ЯП - выбор не ограничен, но специфичен для каждой конкретной области. Если геймдев, то скорее всего С++ или C#, онлайн - PHP/Python/Ruby/JS, мобильные - Java/ObjC и т.д. Выбирай что ближе, но изучай досконально - нюансы реализации могут свести на нет тонкую оптимизацию, да и реализовывать крутые алгоритмы кривым кодом - моветон )