На мой взгляд стек не так важен, тем более, что это очень динамичная область знаний. Начните с фундаментальных основ, в результате сможете делать гораздо больше и не только с нейронными сетями.
Вот современная классика:
https://mml-book.github.io/book/mml-book.pdf