Вопрос:
"есть ли смысл начать их изучать если знания по математике такие маленькие? "
Варианты ответов:
1. Раз знания математики "такие маленькие" изучать нейронные сети не получиться, займтесь чем нибудь другим.
2. Раз знания математики "такие маленькие" - подтяните знания математики и постепенно начинать изучать нейросети.
Раз вы не можете этого решить сами, и обращаетесь к совершенно посторонним, абсолютно незнакомым людям за советом, то это означает что на самом деле вы просто хотите, что-бы они одобрили ваш внутренний выбор - "смысла учить нет". Те, кто понимают чего они хотят на самом деле - не спрашивают, а берут и начинают учить.
Те, кто действительно хотят учить что-то самостоятельно - берут и ищут в Гуугле. И на первой же странице находят:
https://habr.com/ru/company/plarium/blog/505458/
https://ai-news.ru/2018/10/podborka_resursov_po_ma...
https://ru.stackoverflow.com/questions/678970/Книг...
https://www.analyticsvidhya.com/blog/2019/10/mathe...
https://www.kdnuggets.com/2020/06/math-data-scienc...
https://towardsdatascience.com/the-roadmap-of-math... 
