一、简介:
ControlNet++是ControlNet的升级版本,一个模型或者节点就开源支持多个ControlNet进行使用,使用起来更佳的方便,效果也更好。
二、优点:
1、像 novelai 一样使用桶训练,可以生成任何纵横比的高分辨率图像
2、使用大量高质量数据(超过 10000000 张图像),数据集涵盖了多种情况
3、使用像 DALLE.3 这样的重新字幕提示,使用 CogVLM 生成详细的描述,良好的提示跟随能力
4、在训练期间使用许多有用的技巧。包括但不限于数据增强、多分辨率损失
5、与原始 ControlNet 相比,使用几乎相同的参数。网络参数或计算量没有明显增加
6、支持10+控制条件,与独立训练相比,任何单一条件均无明显性能下降
7、支持多条件生成,条件融合是在训练过程中学习的。无需设置超参数或设计提示。
8、兼容其他开源 SDXL 模型,例如 BluePencilXL、CounterfeitXL。与其他 Lora 型号兼容.
不是所有种类的CN都支持,支持的种类下面放了例图了,支持的CN可以多CN联用
三、下载:
3.1 下载地址:
https://huggingface.co/xinsir/controlnet-union-sdxl-1.0/tree/main
有两个版本,分别是普通版和promax版本,区别在于promax为新版本,效果更好。
模型放到comfyui根目录下/models/controlnet目录下,或者你的Controlnet的模型目录。
3.2 目前支持的CN类型:
● Openpose
● Depth
● Canny
● Lineart
● AnimeLineart
● Mlsd
● Scribble
● Hed
● Softedge
● Teed
● Segment
● Normal
四、使用方法
4.1 节点说明:
使用到的3个节点:
1、Controlnet加载器;
2、设置UnionControlNet类型(有的电脑叫SetUnionControlNetType);
3、ControlNet应用(高级);
4、预处理器节点。
链接情况如下图:
4.2 使用:
直接通过【Controlnet加载器】加载模型,
通过【设置UnionControlNet类型】节点选择ControlNet的类型,
并将ControlNet输出到【Controlnet应用(高级)】节点上。
使用不同的ControlNet只需要在【设置UnionControlNet类型】节点选择不同的Controlnet类型即可。
五、存在问题:
OPENPOSE:
目前使用openpose 只能根据姿态去生成,带有脸部特征则生成不了
局部重绘:
需要加载一个图像到RGB节点才能使用
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →