Да нет, все правильно вы делаете. И сеть обучали теоретически правильно, и дальнейший план составили нормально. Другое дело "хочу" и "могу" это как бы разные вещи. Если у вас сеть обучена правильно, т.е. ваша архитектура сети и веса подобраны правильно, то дальше вы можете вообще писать свою систему на чем угодно - хоть на Python, хоть на Julia, хоть на С++, хоть на Go.... в общем, на чем угодно, на чем вы свое "хочу" лучше сумеете превратить в "могу".
В Гуугле гайдов вы ненайдете, потому-что в Гуугле размещают по сути "рекламно-образовательные" тексты/ролики, из которых суть понятна, а вот как ее воплотить в реалии - нет. Поэтому, конечно, всегда лучше разбираться по книгам.
Если вот в одном абзаце - то на этапе обучения у вас происходил цикл: подали данные на вход, получили какой-то отклик (ответ) , немного дернули коэффициенты и далее по кругу. В конце получили модель (набор коэффициентов) . После того, как вы решили, что сеть достаточно обучена, вы просто разрываете этот цикл и убираете из него подстройку коэффициентов. Остаётся "подали данные - получили отклик". В вашем случае отклик-ответ (не уверен, ибо не спец в нейрохирургии) - выделение на снимке некоторой зоны мозга. Ну вот собственно ваша задача и решена.