NeZabuduTebya

Вообще посмотри есть ли у тебя CUDA ядра(если GPU NVIDIA). Дальше просто используй их через pytorch и укажи в коде. + можешь перевести модель в .engine, скорость так же повысится.

У меня с использованием CUDA 85-90 FPS.