Нейросети под питон это С++ с API под питон, на уровне питона скорость не нужна, возьми да полож данные из одного места в другое, настрой параметры, а дальше питон дернет ядро либы на С++ и будет скорость
Если хочется писать вообще все на С++ то это будет НАМНОГО сложней (я знаю, ведь я пытался), думаю ты уже погуглил нейросетевые либы на С++ и обнаружил "разнообразие", если ты задаешь вопрос тут, потому что не смог найти решение, и если тебе даже посоветуют решение из недр интернета о котором никто не слышал, то какое у него будет комьюнити? У кого спросишь совета как решить проблему в либе про которую никто не знает? Как долго разработчики будут исправлять критичный баг на который ты нарвался и который остановил твою работу дальше?
Пока ты будешь запускать тот же TensorFlow на С++ неделями, я за день напишу питон скрипт и просто запущу его из С++, и это будет работать одинаково
Попробуй вот как, напиши сначала на питон нейросеть и запускай свое питон приложение из С++, а потом попробуй переписать на TensorFlow С++ API, и в процессе боли, страданий и потери времени поймешь, что это дает только боль, страдание и потерю времени
Не стоит забывать, что стоит подбирать инструменты под задачу, а не натягивать все на один свой любимый инструмент