SmeliyR, ээээ, да? Все лучше грузить в видеокарту. Оно для этого изначально предназначено, возможность выгружать в оперативную память или вообще запускать только на процессоре - это костыль, который нужен тем, кто не может все грузить в видеокарту. А так да, NVIDIA H100 и вперед - будет летать.
Andy_U, да, они после редизайна забыли ссылку видимо. Тоже случайно нашел тему. Хотелось бы полноценного исследования вопроса... У самого компетенции слабоваты, но завтра могу проверить тоже, когда дома буду. Микрот в наличии.
knigaman, я присоединяюсь к Дмитрий - у меня правда вайбкодинг на максималках, я сам код писать не умею. Но то, что выдают чаты при перекидывании туда-сюда файлами и запросами (все - и chatgpt, и google, и claude), и то, что выдают агенты типа claude code локально работающие - это небо и земля. "Я" пишу питон, так claude и код по запросу допишет, и запустит его потестировать, и увидит, что оно не работает, и разберется почему, и починит - все в рамках одного запроса. Решать это все через чат не только долго - это тупо дорого, ибо токены по API почти всегда считаются за штуку. Когда от меня устает claude, обычно к этому времени устаю сам я - самое время прерваться на другие дела.
Я советую сразу заходить с локальных агентов, а не чатов.
SmeliyR, а кто говорил, что будет легко? Чуда никто не обещал. Если бы все быстро работало на слабом железе, никто бы не покупал дорогое. Я так понял, вы ищете способ, чтобы это вообще работало? Это он. Хотите, чтобы работало быстро? 3090 б/у. Дешевле наверное нет.
то есть перед работой следующей ноды VRAM освобождается от предыдущей модели?
Зависит от настроек кеширования. Смотрите параметры запуска --highvram, --normalvram, --lowvram, --novram, --reserve-vram и особенно --disable-smart-memory
historydev, BIOS - потому что Intel обновляли микрокод, чтобы 13\14 поколения меньше горели. Систему - потому что у вас много процессов. Cortana и Recall - потому что вы вряд ли ими пользуетесь, а они как раз в числе "висяков" в процессах. Почему - потому что один или несколько из этих процессов скорее всего и делают вам задержку с первого скриншота.
historydev, обновите BIOS и переустановите систему - если 273 это "на холодную", то это много. После переустановки отключите cortana и прочие recall - гайды в интернете есть. Должно стать получше.
Грустно это писать, но простейшим способом решения проблемы будет переустановить систему. NVIDIA в целом известна там, что повышает задержки - но не так дико, где-то 2500-5000 в пике.
У вас либо какой-то сбойный драйвер\сервис, либо аппаратная проблема (например, переразгон Infinity Fabric на новых AMD будет триггерить внутренний ECC и пересылать данные). Если переустановка не поможет - значит проблема аппаратная.
Можно, наверное, провести эксперимент с live cd, но я бы не заморачивался, переустановка - дело часа времени, главное ничего из важного не забыть забекапить.
Если хотите почистить систему, начните с esrv_svc.exe из вашего репорта - пользы от него нет.
Если TL;DR, то: всегда берите самое мощное видеоядро с тем объемом памяти, которого достаточно для обучения вашей нейросети.
Несколько карт нужно только если задача не помещается в одну ни при каких условиях. (почти) В любом другом случае одна карта будет быстрее, если в ее VRAM все влезает.
Присоединяюсь к комментариям, системы без SSD в 2025 быть не может. Даже в 2015 уже была под вопросом жищнеспособность систем на блинницах. И это я говорю, как обладатель 15 штук.
Что касается процессора, то тоже, как писали в ответах - AMD 9950\9900 или Core Ultra. Надо 14900к надо дикие заклинания в BIOS исполнять, чтобы оно прожило какой-то вменяемый срок (подробнее, как ни стыдно об этом писать - в hw на 2ch).
Вместо ИИ лучше погуглите конкретные бенчмарки в вашем софте на Youtube или puget.
zapret обходит замедления, а сервер с картинками заблокирован по ip
Блокировки по ip zapret не обходит (только совсем уж у стремных провайдеров, не уверен, что такие еще живы в 2025)
Наверное, заезженная тема - но из локализации и переводов я бы сейчас бежал. Хоть куда. Потому что это будет одно из первых мест, куда доберется ИИ (если не уже - я удивлен), останутся по сути только редакторы, и рабочие места с зарплатами очень сильно похудеют.
А вот куда вкатываться - тут уже подсказать не могу.
Брать ЖЕЛЕЗО можно - но сервак я бы сразу выкинул в помойку, если честно. Особенно если там все на проприетарке - там потом каждый сдохший кулер будете искать по помойкам или брать за те самые 63 уе.
Берите обычный рековый корпус, раз вам под диски - 4U и с вентиляторами 120, пересаживайте туда, и ставьте обычные тихие десктопные вентиляторы с обычным человеческим БП. Если материнка захочет проприетарные БП или вентиляторы - от нее тоже избавляемся, поменяете на один из многочисленных хуананов.
Вообще надо понимать, зачем оно нужно. Тухлые зионы сейчас нужны разве что как платформа для установки очень дешевой памяти. Но лимиты у них скромнее, чем у тех же эпиков. Может быть для большого количества плат PCI-E. В контексте большого количества дисков (12+) + видеокарта - да, актуально. Больше задач для серверного железа придумать не могу (у меня оно было).
