Задать вопрос
  • Какая видеокарта лучше всего для Llm в 2025 году?

    @rPman
    Скажу непопулярное.

    за 150т.р. можно приобрести три 16gb видеокарты, например 4060ti или 5060ti (в розницу правда они стоят чуть выше 55т.р. т.е. немного в бюджет не помещаетесь, но на ozon или aliexpress можно найти, правда гарантий ноль). Их производительность впримерно в полтора или даже на треть ниже топовых десктопных, в задачах LLM но все перекрывается ценой и возможностями, ведь это будет 48Гб!

    НАСТОЯТЕЛЬНО рекомендую выбирать nvidia, так как софт заточен и оптимизирован именно под них.

    upd. от цены в dns от 50т.р.

    Почему это тоже подходит, в некоторых (ЧАСТЫХ) случаях можно распределить нагрузку на оперативную память нескольких видеокарт чисто программными средствами. Например генерацию изображения распределить по видеокартам сложно (для изображений это не критично, но видео к сожалению требует, у меня не получилось, но я не пробовал еще copmify ui, там говорят можно). GPT LLM почти всегда можно распределить по видеокартам (vllm, llama.cpp), и практически без понижения производительности (даже несколько процентов добавится)

    Недостаток - материнскую плату с тремя 8x pci-e найти не просто (их цены от 30т.р. начинаются а скорее пришлось бы брать серверную, но там 16х полноценные), а это значит, иначе видеокарты будут работать на 4х pci-e подключении, и это может сказаться на производительности

    upd. материнка с 2 - 8х pci-e 3.0 и 1 - 16х pci-e 3.0 за 30т.р.
    Процессоры на этот сокет с 48 pci-e линиями от 67т.р.
    оперативки до 256гб (саппорт лист материнки), если брать наборы по 128гб порядка 35т.р. за каждый, т.е. 70т.р. за 256гб.
    Ответ написан
    Комментировать
  • Есть аналоги aws и google cloud для локальной машины?

    @LooooZ Автор вопроса
    Я уже сам нашел, то что нужно со всеми инструментами нужными, как в aws, в том числе и s3, и Lambda, это LocalStack
    Ответ написан
    2 комментария