Нет, я не использую CUDA. Точнее, только для вспомогательных задач. 30В модель с новым патчем на контекст больше не влезает на 24Гб VRAM. А 13В и на проце шарашит так, что фиг догонишь. А если расщеплять, то результаты не впечатляют.
Поэтому я и хочу прибавить оперативки, чтобы гонять 30B на проце, не вытесняя в своп всё живое, и максимально возможной скорости. Проц менять не готов., покупать 3090 тоже.
Ну логика моя простая: проц филонит в районе 40-60%. При уполовинивании предела мощности CPU (Eco mode 60W) скорость генерации не меняется. Что ещё это может быть, кроме памяти?
Попытки поиграть со скоростью памяти привели к вечеру разборки компа чтобы нажать CMOS RESET заботливо спрятанный под видюхой.
Написано
Войдите на сайт
Чтобы задать вопрос и получить на него квалифицированный ответ.