Как запустить LLM на нескольких компьютерах сразу?

Question

[Filipp42]

Хочу запустить большую языковую модель у себя локально, но одного большого компьютера с огромной памятью у меня нет. Хочу выпросить у ближних их ноутбуки и на каждый ноутбук выделить часть слоёв сети, так, чтобы они пересылали друг другу промежуточные результаты. Есть ли готовые решения, позволяющие это сделать? Насколько упадёт производительность?

Comments

[mayton2019]

и на каждый ноутбук выделить часть слоёв сети, так, чтобы они пересылали друг другу промежуточные результаты.

Ого. Дерзко!

Нужно ставить эксперимент. Скорее всего твоя идея провалиться из-за харатеристик сети. Но попробуй.

[Filipp42]

mayton2019, А что не так с сетью?

[mayton2019]

Filipp42, ну давай рассуждать. Вот у тебя LAG передачи информации между слоями был равен нулю.

Потом ты внедрил сеть. Появился лаг. Сколько он будет? Я не знаю. Ну пускай будет от 1мс до 10мс.

Вот и думай как эти 10мс встроятся в каждый удаленный вызов процедуры. Да. У тебя-же не стриминг.
У тебя вызов процедуры. Синхронный. С ожиданием результата. И еще с сетевым штормом. У тебя-ж
не один ноутбук будет а 2 или 3 или 4. Все должны уведомить всех о том что расчет слоя закончен.

И ты спрашиваешь что не так?

Вот это я увидел в моем кошмаре. Ну может я сгущаю краски. И ты придумаешь алгоритм который
не требует синхронизации. Но это будут изменения в алгоритм обучения. Попробуй потом докажи
что алгоритм правильный. А это еще сложнее чем сеть строить.

[tut_nick]

Проще VPS арендовать) У Яндекса вроде 5000 денег можно было бесплатно получить для обучения.

[rPman]

mayton2019, не надо умничать, эта схема работает и первую крупную опенсорсную модель (то ли OPT то ли BLOOM) именно так и запускали

точно видел проекты по совместному использованию видеокарт, ты подключаешь свои мощности к общей сети и пользуешься ее возможностями, только не гуглится никак

[mayton2019]

rPman, в подобного рода задачах нужен эксперимент на прототипе. Или на малом объеме данных.

[rPman]

mayton2019, https://github.com/bigscience-workshop/petals вот проект о котором я говорил

Answer 1

[amg_core]

Привет, архитектуры современных LLM достаточно сложны. Если у вас есть доступ к компьютеру с 32 гб рам можете смотреть в сторону lama.cpp. Не все архитектуры могут быть разделены да и модификация фреймворка глубокого обучения это серьезная задача. Так же есть варианты использовать colab или арендовать сервак на runpod.
Если совсем панкухой заниматся то можно просто построить марковскую модель на вашем корпусе текстов и запускаться хоть на ардуине зависит от вашей задачи