Возможно ли использовать модель LLAMA-405B на обычном железе 64GB + 8GB?

Question

[Владимир]

Возможно ли использовать большие LLM модели (LLAMA-405B в частности) на железе на котором даже INT4 не помещается в память?

Comments

[Василий Банников]

В теории часть весов можно хранить на диске, но тогда производительность очень сильно просядет

[d'Ivan]

Нужна довольно веская причина запускать модель на своих мощностях, особенно когда есть сервисы.

[rPman]

Everything_is_not_so_bad, если есть онлайн сервис, то нет никакого смысла использовать такую тяжёлую и дорогую модель

Llama, имеет смысл для локального использования и дообучения

[d'Ivan]

Интересно о чем там собираются спрашивать модель. Если лишь для кодинга, то есть альтернативы подешевле.

[freeExec]

Everything_is_not_so_bad, например приватность, или это не веская причина?

[d'Ivan]

freeExec, говорить с ИИ на задушевные темы? Извольте.

Answer 1

[rPman]

Да, уже считал, и это действительно реально, с относительно небольшими затратами (16-20т.р.) если тебя устроит скорость исполнения в 15-30 секунд на токен (на твоем железе llama31-70b на процессоре и 64гб оперативке будет работать токен в 1-1.5 секунд).

Необходимо собрать самый дешевый pcie nvme ssd программный raid0, купив контроллер pcie-x16 3.0 или 4.0 из четырех разъемов nvme либо четыре pcie-4x дешевых 3.0 и закупить самые дешевые nvme ssd диски от 128гб (со скоростями чтения от 2гбайт/сек).

Затем собрать из них raid0 с чередованием (win/linux это поддерживают) и разместить на нем gguf файл. llama.cpp поддерживает загрузку файла с весами с диска, без выделения оперативной памяти (но она нужна на контекстное окно, в зависимости от его размера это будут десятки гигабайт). Файл будет считываться по кругу целиком, по разу на токен, а значит скорость будет определяться именно этим. 2гб/с*4 диска = 8гб/с, 256гб 4бит квантизация будет считываться за 32 секунды.

Есть еще ограничения в скорости исполнения из-за процессора, но по уму, если бы была оперативная память то типовой десктопный процессор работал бы на скорости 15-20 секунд на токен.

Comments

[GavriKos]

А не дешевле оперативы добавить будет? При условии если мать менять не надо и все остальное железо это поддерживает?

[rPman]

GavriKos, материнские платы с 256-512гб оперативной памяти это только серверные, оперативная память серверная... это дороже нескольких десктопов раза в 4 (но можно найти БУ).

p.s. найди мне машину с таким объемом памяти за 20т.р.

[GavriKos]

rPman, так вроде же от 128 Гб вы написали. Я не шарю, но мб уже есть матери не серверные с поддержкой 128 Гб. Ну и важно - я же написал только если все остальное железо поддерживает ;-)

[Aetae]

GavriKos, не только мать, но и проц, не только поддердживать но и на нормальной скорости... Ещё и чтоб не глючило. С памятью "впритык" в пользовательском сегменте все не очень хорошо.

[GavriKos]

Aetae, не меняет моего вопроса совершенно )))
Если все поддерживает 128 гигов оперативы - не будет ли это дешевле?

[Aetae]

GavriKos, ну посчитай сам, если интересно. Нашёл себе онлайн-калькулятор, понимаешь.

[rPman]

GavriKos, дешевле чем что?

Llama405 требует для работы 256гб ram, лучше больше (512 - без потери качества 8бит квантизация, 1024 - возможность дообучения и тюнинга но на cpu это бессмысленно, так как очень медленно, годами).

Ты можешь собрать необходимы объем памяти на одной машине, (gpu - при наличии десятков миллионов рублей и серых каналов провоза дефицитного железа через таможню).

Десктопное железо можно собрать до 128гб ram, можно у китайцев найти старые чипы и иатеринки как бы серверные но десктоп и собрать очень медленный сервер с 256-512.

По ссылке я дал мой ответ, можно собрать несколько нод (из 3 или лучше 4 компьютеров) и объединить их в сеть, лучше 5-10гбит сетевые карты, без сетевого свитча понадобится по 2 сетевые карты на машину (можно на первой и последней одну сетевую, а вторая из материнки), llama cpp умеет распределять нагрузку между машинами, но эффективнее всего при одновременных нескольких запросах batching (разница в скорости будет до 10 раз)