Много библиотек, многие на питоне. На чем они безразлично. Изучите
1 что такое нейронная сеть, возможные архитектуры
2 как их обучают
3 валидация моделей, перекрестная проверка и та
4 основные методы многомерной оптимизации .
Особого знания математики не нужно