• Кто-нибудь запускал llama 3.1 405b?

    @d00m911
    Сэкономить на ресурсах, жертвуя быстродействием, можно: следует смотреть в сторону квантованных моделей. Квантование позволяет в разы уменьшить количество требуемых ресурсов (видеопамяти или оперативной памяти), снижая качество выдачи.

    Но дома такую модель точно не запустить (если у вас дома, конечно, нет батареи хотя бы из 3090). В решении повседневных задач неплохо себя показывают модели 70b (или даже с меньшим количеством параметров - взять хотя бы Codestral 22b) особенно потому, что их гораздо легче и быстрее дообучать. 405b - мне кажется, это для компаний скорее, которые могут себе позволить купить нужное оборудование.

    Нет, никто не мешает вам купить, скажем, старый сервак с 512 гб ram, но это будет работать невероятно медленно. И все равно придётся квантовать модель, и сильно)
    Ответ написан
  • После установки 3070ti синие экраны и зависания при нагрузке, нехватает мощности БП?

    @d00m911
    Видеокарта установлена не через райзер? Ну, это так, на всякий случай, мало ли - с ними часто бывает нечто подобное.

    Посмотрите в системные события Event viewer-а винды. Там можно найти сообщения о том, что предшествовало падению.

    Не факт, что это блок питания, для такой видеокарты 550-600-ваттного блока должно хватать, тем более что система у вас ниже среднего в целом.

    Попробуйте снести драйверы видеокарты и установить другую версию. Ещё можете попробовать обновить драйверы чипсета.
    Ответ написан