Как правильно подобрать модель, VAE и T5 чтобы запустить Flux1 gguf версию?

Question

[SmeliyR]

Вопрос адресован скорее тем, кто хоть раз запускал нейросетевую модель генерации картинок Flux1

Я хочу запустить в Forge модель flux1-schnell-Q2_K.gguf (4 гб)

Конфиг компа: Xeon 6 ядер, 16 гб ОЗУ, Nividia p106-100 видеопамять 6GB с дровами от GTX1060.
Другая модель Deliberate_v3.safetensors (2 Гб) у меня в Forge успешно работает и генерит картинки.

Решил запустить что то получше Deliberate_v3, а именно Flux1.
Для запуска flux1-schnell-Q2_K.gguf я скачал саму модель (4 Гб), а так же файлы ae.safetensors (335 мб)
t5xxl-Q2_K.gguf (1.5 гб), clip_l.safetensors (240 мб) и положил их в нужные папки согласно инструкциям,
(последние два в webui\models\text_encoder, ae в webui\models\VAE)

Интерфейс их видит, см картинку.


и



ВРоде всё норм, но когда жму Generate
через пару минут процесса генерации валится штук 30 ошибок вида "
\system\python\lib\site-packages\torch\nn\modules\module.py", line 2189, in load_state_dict
raise RuntimeError('Error(s) in loading state_dict for {}:\n\t{}'.format(
RuntimeError: Error(s) in loading state_dict for IntegratedT5:
While copying the parameter named "transformer.encoder.block.0.layer.0.layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.encoder.block.22.layer.0.layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.encoder.block.22.layer.1.layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.encoder.block.23.layer.0.layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.encoder.block.23.layer.1.layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.encoder.final_layer_norm.weight", whose dimensions in the model are torch.Size([4096]) and whose dimensions in the checkpoint are torch.Size([1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 0',).
While copying the parameter named "transformer.shared.weight", whose dimensions in the model are torch.Size([32128, 4096]) and whose dimensions in the checkpoint are torch.Size([32128, 1344]), an exception occurred : ('The size of tensor a (4096) must match the size of tensor b (1344) at non-singleton dimension 1',)."

и на этом всё, кнопка Interrupt пропадает снова доступна Generate то есть процесс прервался.

Вопрос - что я делаю не так, может для модели flux1-schnell-Q2_K.gguf я скачал не те файлы?

Comments

[freeExec]

Может clip_g нужен

Answer 1

[Ronaldo]

- "GPU Weights" попробуйте добавить до 8гб.
- надо проверить вообще рабочая ли связка клип моделей и самой Flux, на компе где побольше видео памяти
- Deliberate_v6, весит 2гб, для инференции нужно ~3gb, он четко попадает в вашу карту
- флюкс просто по вашему набору всех моделей, может спокойно потянуть на 8гб