К сожалению, весь современный софт заточен на nvidia решения. С некоторыми
оговорками на amd и скорее всего не на долго (т.е. скоро окончательно будет все), например stable diffusion еще запускают на топовых amd, с заметной деградацией скорости (т.е. карта в играх будет типа быстрее nvidia но в нейронках будет хуже, это вопрос исключительно софта и скорее всего политики).
Самое главное для нейронок - это vram видеокарты, все остальное - частоты, количество процессоров, шина и прочее конечно важно, но обычно идет в комплекте если выбирать решения с большой памятью.
Если денег мало, то имеет смысл обратить взор на медленную (еще вопрос на сколько, в играх это ~30%..50% от топовых но для нейронок возможно не так плохо) но с большим объемом vram -
nvidia geforce rtx 3060 16gb с ценами порядка 35т.р. когда как остальные решения стартуют от 50т.р. а заканчиваются на 300т.р. (я про потребительские решения, серверные найти вообще нереал и цены там зашкаливают, соотношение цена/производительность у серверных хуже всего)
Если денег меньше, то бери любую nvidia с максимумом vram, построив табличку цена, fps и выбирая наибольшее соотношение цена/fps или индекс производительности (бери один и тот же тест).
ВАЖНЫЙ момент! почти все алгоритмы нейронных сетей могут быть распаралелены на несколько gpu (либо легко модифицированы для этого), я имею в виду когда размер самой нейросети такой огромный либо нейросеть маленькая но обучающая выборка большая, отсюда интересный вариант, если нужно больше чем 16гб vram, может оказаться дешевле набить материнку несколькими 3060 (она вообще самая дешевая за гигабайт), и за счет возможности загружать данные в несколько gpu одновременно, это даст интересный буст на решения, которые упираются в pci-e (не говоря о цене, nvidia 24гб начинаются по ценам от 110т.р., а 2x3060 обойдутся в 70т.р.)
p.s. вопросы энергопотребления даже не рассматриваю, пока у тебя нет кластера на сотни gpu (или если тебе не повезло жить в какой-нибудь 'жопе мира', где энергия стоит порядка 1евро за киловат час)
upd. минимальное требование по vram к stable diffusion - 3gb (минимальный размер картинок меньше 512x512, batch меньше 4, опции --xformers и --lowvram и невозможность генерации видео), рекомендуется 6Gb
для генерации видео на stable diffusion нужно минимум 8gb лучше больше
минимальный размер адекватной языковой модели 7Gb mistral может заработать на 8Gb с 8бит квантизацией, так же я
слышал что llama13b тоже работает на 8gb видеокартах
чтобы дообучать, потребуется больше vram, так как квантизация недоступна (можно использовать peft с 8-битной, но это только тюнинг качества для конкретного промпта)
