5090都无法运行量化的gguf-Q8 蒸馏版，直接报错

[GoodwillBFA]

在comfyui里各种量化都应该同步出现，目前也没看到支持refiner和蒸馏版的工作流，测试了fp8和gguf,只能运行一个主模型，50步结果还不错，refiner和蒸馏版无法运行。
K采样器
mat1 and mat2 shapes cannot be multiplied (1980x3584 and 10752x3584)

[zwukong]

哈哈可以跑Q4567嘛~

[zwukong]

5090都跑gguf可是太浪费资源了，GGUF就不是给高端卡用的

[monnky]

https://www.youtube.com/watch?v=53cmavTx7lY

[kathrinawu]

在comfyui里各种量化都应该同步出现，目前也没看到支持refiner和蒸馏版的工作流，测试了fp8和gguf,只能运行一个主模型，50步结果还不错，refiner和蒸馏版无法运行。 K采样器 mat1 and mat2 shapes cannot be multiplied (1980x3584 and 10752x3584)

We are currently working with Comfyui team to correctly implement the whole pipeline in Comfyui. Please stay tuned.