Можно ли закешировать результат загрузки gguf модели в Forge?

Question

[SmeliyR]

Использую среду для запуска нейросетевых графических моделей Forge и модель Flux1-shnell-Q2_K.gguf и энкодеры ae.safetensors, clip_l.safetensors, t5-v1_1-xxl-encoder-Q3_K_L.gguf .

Работает нормально на 6 ГБ VRAM, генерация одной картинки в 4 прохода занимает около двух-трёх минут, но загрузка модели первый раз после запуска Forge
длится более 10 минут. Это долго, я думаю можно ускорить кешированием?

Кстати, в процессе этой загрузки процесс python отжирает 12 гигов ОЗУ. Я так полагаю,
он читает с диска файлы моделей и что-то с ними делает (распаковывает?) и затем держит в ОЗУ и - длится это те самые 10 минут.

Вопрос тем, кто имеет опыт работы с Flux1 и/или с Forge - можно ли этот результат 12 гиговой распаковки закешировать на диск, чтобы первичная загрузка модели
длилась просто времени равном чтению ~12 гигового файла с диска, т.е. достаточно быстро.

Answer 1

[Ronaldo]

Forge использует какие то конвертации весов во другой формат, для лучшей совместимости с разными LOR-а. Для квантованных моделей этот процесс еще дольше. Скажу больше, так же forge любит делать конвертации прямо перед просчетом, иногда по минуте на мощной машине (r7950/3090)
Для прямой загрузки модели, без конвертации, лучше использовать ComfyUI/GGUF Loader ноду.
Вот готовая схема для Comfy, распаковать, перетащить на канвас.