Можно ли как-то узнать, какими нодами / сущностями и в каком процентном соотношении занята VRAM в ComfyUI?

Question

[SmeliyR]

Хочу более детально разобраться, какие модели грузятся у меня в RAM, какие в VRAM, какие часть туда часть туда и почему.
Сколько всего занято VRAM, я вижу в любой программе, например в GPU-Z.
Но чем именно занимает её ComfyUI - как узнать? Где внутри ComfyUI можно посмотреть, куда чего и сколько оно загрузило?
Какими нодами/сущностями ComfyUI занята VRAM?

Comments

[Ronaldo]

Нет такого, обычно прикидывают размер моделей и добавляют 0.5-1гб на код инференса. Я вижу вы давно выжимаете максимум из старой карты, это тупиковый путь. Проще рассмотреть покупку какой ни будь 3050 с 8гб. Иначе вместо работы у вас будет постоянная бесплодная возня со сжатием размеров.
Винда тоже может отжимать от 0.5 до 3гб VRAM просто по факту загрузки.

[SmeliyR]

Ronaldo, у меня цель в том числе и исследования))

Винда тоже может отжимать от 0.5 до 3гб VRAM просто по факту загрузки.

не, ну я не настолько новичок))
перед нажатием на кнопку рендеринга в ComfyUI
смотрю сколько уже занято VRAM, обычно там не более 300мб, если сильно больше - закрываю какой нить хром или что то еще, что согласно диспетчеру NVIDIA засело в VRAM.

касаемо "Нет такого," - очень странно.
Ведь хотя бы монитор ресурсов как отдельное дополнение - сделали!
Стал анализировать вывод в консоли сервера (уже хоть что-то),
конкретно сейчас я хочу разобраться с надписями loaded partially - казалось бы
flux1-schnell-Q2_K.gguf весит менее 4 гб, должен весь в VRAM грузится
loaded partially и вот хочется понять почему. Да и вообще правильно ли я понимаю loaded partially.

Ещё не пойму - как нода отработала, её содержимое из VRAM выкидывается обратно в RAM или нет?
Допустим отработал CLIP, а потом пошёл KSampler.
то есть перед работой следующей ноды VRAM освобождается от предыдущей модели?

[nidalee]

SmeliyR,

то есть перед работой следующей ноды VRAM освобождается от предыдущей модели?

Зависит от настроек кеширования. Смотрите параметры запуска --highvram, --normalvram, --lowvram, --novram, --reserve-vram и особенно --disable-smart-memory

Вот тут жалуются конкретно на flux, изучайте:
https://github.com/comfyanonymous/ComfyUI/issues/4674
https://www.reddit.com/r/comfyui/comments/1er7lau/...

[SmeliyR]

nidalee, спс, протещу

[SmeliyR]

nidalee,

Провёл эксперимент с флагами, --disable-smart-memory затем --highvram

--disable-smart-memory ни начто не повлиял, а вот с --highvram модель Flux Shnell объёмом 4 ГБ наконец-то загрузилась вся в VRAM при рендеринге 1024*1024 картинки (при 512*512 грузился вся изначально).
Однако! это особо не поменяло скорость рендеринга, как было около 120 секунд на итерацию так и осталось, вот что интересно...
то есть не смотря на то что было loaded partially, а стало loaded completely - скорость рендеринга в данном случае не выросла.
А если точнее, скорость loaded completely как мне показалось, и была нормальной, такой, какой она и должна быть
при рендеринге 1024*1024, но почему когда не вся модель в видеопамяти, скорость тоже была нормальной, те же примерно 120 сек /ит.
По идее ведь скорость рендеринга должна была стать сильно меньше, ведь в видеопамяти было тогда по моему около 50% модели всего лишь,
вторая половина модели была в RAM.