Внезапно пришло осознание что за технологиями невозможно угнаться, постоянно появляются новые языки программирования, фреймворки, среды
Ошибаетесь, угнаться можно. В этом то, собственно, и состоит работа разработчика. Есть множество веяний, идей, технологий, систем -- а вам нужно быть на плаву, знать где чего и углубленно знать одно из направлений (стек).
Пока смотрю в сторону изучения математики, алгоритмизации и архитектуры программ.
А вы уже смотрели список вакансий? Сможете ли найти работу в вашей стране/городе? И если нет, готовы ли к переезду?
Это все важно и востребованно, но не везде. Знаете сколько хороший препод. математики (как правило, владеющий каким либо языком программирования) получает денег? Хотите столько получать?