Какая видеокарта лучше всего для Llm в 2025 году?

Question

[alex_agaphe]

Какая видеокарта лучше всего подойдет для llm?
Бюджет до 150000 рублей.
И как проверить видеокарту перед покупкой на Авито?)

Comments

[Ziptar]

Вопросы про ноутбук и про видеокарту не имеют общих корней, я надеюсь?

хардкодную конфигурация

Какую-какую конфигурацию?

[VoidVolker]

alex_agaphe https://qna.habr.com/help/rules#3.7

[alex_agaphe]

VoidVolker, поправила, Спасибо)

[alex_agaphe]

Ziptar, поправила, этот вопрос я задам отдельным вопросом согласно правилам которые мне voidvolker указала

[Drno]

alex_agaphe, nvidia от 4***й серии
памяти чем больше тем лучше

Answer 1

[Василий Банников]

За такой бюджет - rtx 3090 на 24гб либо amd radeon 7900 XTX.
Если найдёте за эти деньги rtx 4090, то берите её.
Проверить перед покупкой - берёшь с собой комп и гоняешь стресс тесты вместе с продавцом.
Если нет возможности притащить комп - тащи диск со своей ОС и всеми теми же тестами и проверяй на компе продавца (но диск с ОС должен быть твой, чтобы не было возможности обмануть)

Главное что тебе нужно увидеть:
1. Производительность соответствует модели
2. Видеокарта не перегревается и не умирает в результате стресс тестов, стабильно их выдерживает

Answer 2

[rPman]

Скажу непопулярное.

за 150т.р. можно приобрести три 16gb видеокарты, например 4060ti или 5060ti (в розницу правда они стоят чуть выше 55т.р. т.е. немного в бюджет не помещаетесь, но на ozon или aliexpress можно найти, правда гарантий ноль). Их производительность впримерно в полтора или даже на треть ниже топовых десктопных, в задачах LLM но все перекрывается ценой и возможностями, ведь это будет 48Гб!

НАСТОЯТЕЛЬНО рекомендую выбирать nvidia, так как софт заточен и оптимизирован именно под них.

upd. от цены в dns от 50т.р.

Почему это тоже подходит, в некоторых (ЧАСТЫХ) случаях можно распределить нагрузку на оперативную память нескольких видеокарт чисто программными средствами. Например генерацию изображения распределить по видеокартам сложно (для изображений это не критично, но видео к сожалению требует, у меня не получилось, но я не пробовал еще copmify ui, там говорят можно). GPT LLM почти всегда можно распределить по видеокартам (vllm, llama.cpp), и практически без понижения производительности (даже несколько процентов добавится)

Недостаток - материнскую плату с тремя 8x pci-e найти не просто (их цены от 30т.р. начинаются а скорее пришлось бы брать серверную, но там 16х полноценные), а это значит, иначе видеокарты будут работать на 4х pci-e подключении, и это может сказаться на производительности

upd. материнка с 2 - 8х pci-e 3.0 и 1 - 16х pci-e 3.0 за 30т.р.
Процессоры на этот сокет с 48 pci-e линиями от 67т.р.
оперативки до 256гб (саппорт лист материнки), если брать наборы по 128гб порядка 35т.р. за каждый, т.е. 70т.р. за 256гб.