Что-то у меня какой-то диссонанс, вы хотите сделать сложную задачу, ооочень сложную задачу с низкоуровневым железом и драйверами.
Но нейросеть при этом хотите готовенькую, TensorFlow, и при этом на МК, можете забыть
Если очень хочется, то есть готовые микры аппаратного ускорения нейросети, их уже вполне реально подключать к МК (
https://www.terraelectronica.ru/news_utr.php?ID=160)
Еще, если хотите компактно, можно взять монстра от nvidia - Jetson TX2 или TX1 -
www.nvidia.ru/object/embedded-systems-dev-kits-mod...