Вам необходимо прежде всего понять, какие разделы физики вас интересуют. Так как физика в целом - слишком широкая дисциплина.
Курс, ссылку на который вы приводите, достаточно хорошая альтернатива. Если какой-то из терминов в курсе вам не понятен, идите в google и ищите его более понятное пояснение.
Если у вас есть проблемы с математикой, стратегия такая же - если вы не понимаете, почему интеграл берётся так, а не иначе - возьмите паузу, повторите интегральное исчисление и решите 40-50 подобных задач.
Да, за 5 недель вы в курс не уложитесь, но за пару-тройку месяцев - вполне. Конечно при должном уровне усидчивости и направленности сознания к математике и физике.
Как бы "пафосно" это не звучало, но математика действительно является инструментов физики и без понимания базовых пределов, интегралов и матричного исчисления вам будет невероятно сложно понять физику 1-2 курса вуза.