Не гадай - считай.
Берешь размер моделей, которые тебя интересуют, умножаешь на 4 (размер моделей в весах, каждый вес это 2-4 байта, сильно зависит от алгоритма, и часто есть оверхед по требованиям) - и тогда ты сможешь делать обучение (не только finutuning но делать с нуля свою модель). Для просто использования можно пользоваться квантизацией, уменьшающей потребление памяти в разы (8bit - 1байт на вес, 4bit - пол байта на вес).
Если в оперативную память видеокарты влезут еще и обучающие данные - это будет win-win, если будет можно сразу несколько моделей там продублировать - как я понимаю чуть ли ни линейный прирост к обучению (ну может в квадратный корень из количества).
Потребительские видеокарты быстрее современного процессорного железа в задачах ML - в лучшем случае в 10 раз, точно читал что при использовании хороших интел процессоров (инструкции avx512...) можно добавить прироста в тех же llm чуть ли не 2х..3х, но придется сильно ковыряться с софтом, по простому там начинаются конфликты версий (у меня не получилось по простому собрать transformer чтобы использовать ускорения просто intel avx2, есть готовые докер образы от интел но внутри другие проблемы лезли), но почти наверняка в простых ситуациях все будет хорошо.
Для finetuning потребительские видеокарты вполне подходят, народ арендуют железо на vast.ai и вроде бы довольны.
Итого, если твое время не слишком высоко стоит (т.е. ты готов вместо нескольких часов обучения тратить недели) то тебе хватит и процессора (не скупись на процессор, а вот оперативную память не обязательно брать топовую), особенно если альтернатива тратить 100х больше денег (не шучу) на a100 80GB железки и получать да может 20х прирост к скорости, но стоит ли?
И наоборот, если тебе не надо крутить модели сложнее 1b-5b, то почему бы и не задействовать для этого GPU. Но для ML подходят пока только nvidia (в этом мире правит тот, подо что есть эффективный софт, amd тут догоняющие, причем в 2-3 раза хуже)
p.s. точно есть fpga железки, например в слот ddr3, в теории их можно использовать для и вычислений, но вот лучше-хуже это будет я не смог понять, надо покупать и тестировать.