Вадим Тихонов

потому что существует понятие "GPU оптимизированный код",

вы, вероятно, думаете, что любой код на GPU будет быстрее, а это не так: зависит, во-первых, от характера операций, во-вторых - от написанного кода

в первом вы линейно читаете картинку - места для GPU там нет - если бы GPU были быстры в универсальных опервциях, их бы использовали вместо CPU , но не это не только не всегда так, а далеко не всегда так

GPU не всегда быстрее CPU.

1. Если будет много вызовов к памяти с небольшими объемами данных, CPU будет быстрее.
2. Если операция не может исполнятся параллельно то эффективность GPU падает.

В первом примере, у тебя даже тренировки модели нет, ты ее загружаешь., то есть основное место где gpu сильно быстрее cpu это операции с тензорами во время тренировки модели, его нет. Во втором примере есть тренировка модели, (операции с тензорами), то там GPU должен быть быстрее.