Да, но поддержку пилить придется самому.
Например llama.cpp есть поддержка нескольких видеокарт, на сколько я знаю есть возможность с разными вендорами через opencl.
Там есть библиотека
ggml, чтобы свои сети пилить и даже конвертировать их их pytorch
