По машин лернингу, если есть мат подготовка, то рекомендую Bishop, Pattern Recognition and Machine Learning и Murphy, Machine Learning: A Probabilistic Perspective. Книжки не бесплатные, но хорошие и достаточно популярные - можно найти в библиотеках.
Так же рекомендую обратить внимание на список книг от профессора M. Jordan
https://news.ycombinator.com/item?id=1055389 - это список книг для поступающих в аспирантуру Berkley.
