Если бы в списке требований не было бы нейронных сетей, то однозначно для сервера лучше покупать отдельную машину, даже если она будет слабая, первая задача сервера - стабильная работа, а рабочая машина может перезагружаться, может получить большую нагрузку и т.п.
Но у вас нейронные сети и маленький бюджет. Это буквально ограничивает решение одним компьютером.
Нейронные сети - это в первую очередь оперативная память, даже если речь не идет о LLM (большие языковые модели), то для обучения своих сетей понадобится оперативная память. Во вторых, нейронные сети это видеокарты (специализированное железо с таким бюджетом даже не рассматриваем), и соединяя вместе эти два условия - вам нужна видеокарта с большим объемом vram
В частых случаях можно приобрести несколько и будет vram будет суммироваться, но тут вылезает вторая проблема - pci-e, а точнее на количество линий на десктопных процессорах - 24, в принципе за материнскую плату и не дешевый процессор можно приобрести процессор с 48 линиями pci-e, это порядка 90т.р. и как раз хватит на оперативную память но не хватит на видеокарту.
Что значит мало линий pci-e, это значит видеокарты подключаются на низких скоростях pci-e 4x (вместо ожидаемых 16x) просто потому что железо не позволяет быстрее. И тут некоторые алгоритмы распараллеливания вычислений начинают сбоить и сильно понижать скорость, так как данные приходится гонять через медленную шину данных (а например генераторы видео нормально не распараллеливают на несколько карт, лучшие из открытых типа Hunyan или Wan вообще требуют
48гб за раз).
и только nvidiaЕсть еще требование к выбору железа - nvidia, в подавляющем большинстве случаев софт ожидает железо от этого вендора (да еще и не самое старое, минимум gtx серии, начиная с 1050 для десктопных и конечно все серверные), что почти на треть повышает стоимость решения, если сравнивать с одинаковой теоритической производительностью у конкурентов amd (и intel появился). Так вот, софт для работы с нейронными сетями может просто не заработать на решениях не nvidia, а если заработает (топовые amd) то с заметным понижением производительности (так как эмулируется много чего). Спасибо ggreganov с его
ggml и .gguf форматом хранения весов, это позволило использовать софт (типа llama.cpp или моды к comifyui для работы gguf), его софт работает со огромным типом железа и даже экзотическими комбинациями но тоже не везде и всеми поддерживается)
В общем в результате:
* оперативную память набирать 64gb-128gb, в идеале 196gb (тогда будут работать лучшие открытые модели на 5-10токен/сек скорости)
* видеокарту нужно приобретать с максимальным объемом vram, а это начиная с gtx 4060ti 16gb за 50т.р. или хотя бы 3060 12gb за 30т.р. (вот тут можно и две приобрести и найти материнку, поддерживающую две pci-e 8x, это не просто, так как даже если аппаратно будут видны контакты на разъемах, одновременная работа может не поддерживаться)... с такими видеокартами и на средних поиграть (они слабые, их достоинство именно объем vram за цену) и нейронки погонять с помощью ik_llama.cpp
