一、简介:

ControlNet++是ControlNet的升级版本,一个模型或者节点就开源支持多个ControlNet进行使用,使用起来更佳的方便,效果也更好。

二、优点:

1、像 novelai 一样使用桶训练,可以生成任何纵横比的高分辨率图像
2、使用大量高质量数据(超过 10000000 张图像),数据集涵盖了多种情况
3、使用像 DALLE.3 这样的重新字幕提示,使用 CogVLM 生成详细的描述,良好的提示跟随能力
4、在训练期间使用许多有用的技巧。包括但不限于数据增强、多分辨率损失
5、与原始 ControlNet 相比,使用几乎相同的参数。网络参数或计算量没有明显增加
6、支持10+控制条件,与独立训练相比,任何单一条件均无明显性能下降
7、支持多条件生成,条件融合是在训练过程中学习的。无需设置超参数或设计提示。
8、兼容其他开源 SDXL 模型,例如 BluePencilXL、CounterfeitXL。与其他 Lora 型号兼容.
不是所有种类的CN都支持,支持的种类下面放了例图了,支持的CN可以多CN联用

三、下载:

3.1 下载地址:

https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main
有两个版本,分别是普通版和promax版本,区别在于promax为新版本,效果更好。
模型放到comfyui根目录下/models/controlnet目录下,或者你的Controlnet的模型目录。

 

3.2 目前支持的CN类型:

● Openpose
● Depth
● Canny
● Lineart
● AnimeLineart
● Mlsd
● Scribble
● Hed
● Softedge
● Teed
● Segment
● Normal

四、使用方法

4.1 节点说明:

使用到的3个节点:
1、Controlnet加载器;
2、设置UnionControlNet类型(有的电脑叫SetUnionControlNetType);
3、ControlNet应用(高级);
4、预处理器节点。

链接情况如下图:

4.2 使用:

直接通过【Controlnet加载器】加载模型,

通过【设置UnionControlNet类型】节点选择ControlNet的类型,

并将ControlNet输出到【Controlnet应用(高级)】节点上。

使用不同的ControlNet只需要在【设置UnionControlNet类型】节点选择不同的Controlnet类型即可。

 

五、存在问题:

OPENPOSE:
目前使用openpose 只能根据姿态去生成,带有脸部特征则生成不了

局部重绘:
需要加载一个图像到RGB节点才能使用

如有疑问可联系:wxmm19950101
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →