Задать вопрос
@Filipp42

Как запустить LLM на нескольких компьютерах сразу?

Хочу запустить большую языковую модель у себя локально, но одного большого компьютера с огромной памятью у меня нет. Хочу выпросить у ближних их ноутбуки и на каждый ноутбук выделить часть слоёв сети, так, чтобы они пересылали друг другу промежуточные результаты. Есть ли готовые решения, позволяющие это сделать? Насколько упадёт производительность?
  • Вопрос задан
  • 481 просмотр
Подписаться 3 Простой 7 комментариев
Помогут разобраться в теме Все курсы
  • Яндекс Практикум
    Специалист по Data Science плюс
    17 месяцев
    Далее
  • Нетология
    Бизнес-аналитик
    7 месяцев
    Далее
  • Нетология
    Data Scientist: расширенный курс
    13 месяцев
    Далее
Пригласить эксперта
Ответы на вопрос 1
@amg_core
Привет, архитектуры современных LLM достаточно сложны. Если у вас есть доступ к компьютеру с 32 гб рам можете смотреть в сторону lama.cpp. Не все архитектуры могут быть разделены да и модификация фреймворка глубокого обучения это серьезная задача. Так же есть варианты использовать colab или арендовать сервак на runpod.
Если совсем панкухой заниматся то можно просто построить марковскую модель на вашем корпусе текстов и запускаться хоть на ардуине зависит от вашей задачи
Ответ написан
Комментировать
Ваш ответ на вопрос

Войдите, чтобы написать ответ

Похожие вопросы