Очень давно, некий парень по фамилии Ломоносов, сказал, что математику следует учить уж затем, что она ум в порядок приводит.
Если у вас с математикой все плохо, то скорее всего с логикой у вас тоже все плохо.
Учить язык программирования можно вообще без любых знаний, но даваться будет очень тяжело. Что вы и замечаете, когда у вас не получается. Можете искать что-то другое. Можете ковырять программирование дальше, но не задавайте философских вопросов. Логично думайте что у вас не так и как это исправить. Может быть что-то и выйдет. А может и нет.