Зависит от того, в какой области вы собираетесь работать. Если веб-программирование обычных сайтов, простых приложений, то из знаний математики вам потребуется умение делать элементарные вычисления (сложить, умножить), а из физики вообще ничего.
Если собираетесь работать в области распознавания текстов, создания графики, игр, то тут потребуется и знание математики, и физики в играх.
Дело в том, что вы слишком всего боитесь, это все можно освоить и выучить. Было бы желание.