第20课 ControlNet的介绍与下载

什么是Controlnet?

ControlNet 是在生成图像的过程中引入条件信息，可以是线条、深度图、分割图、姿态图等各种类型的图像。这些条件信息被用作生成过程中的“控制信号”，帮助模型理解应该在哪里放置物体、遵循什么样的结构或者采用什么样的样式。

如下图，没有ControlNet线稿约束的情况下AI会随机生成，有约束的情况下，会根据提供的线稿进行生成

当然上图只是通过线稿去约束，还有很多玩法，我们一点点展开来学习。

图片来源：https://github.com/lllyasviel/ControlNet

插件下载地址

https://github.com/Fannovel16/comfyui_controlnet_aux

模型下载地址

https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download

模型安装到

models/controlnet/文件夹下

如果你指定了SD的目录则需要安装到

extensions/sd-webui-controlnet/models文件夹下

添加Controlnet节点

在工作界面中，通过双击左键或使用搜索功能找到 ControlNet，将“ControlNet 应用(高级)”和Controlnet加载器，并添加至流程中。

添加预处理器节点

通过“新建节点”>“ControlNet 预处理器”>“AUX 集成预处理器”添加预处理器节点。

上传图片

添加加载图像节点，并链接到预处理器

设置正负条件

ControlNet 节点包含两个黄色的连接点，分别对应正向和负向条件。将这些点与 Clip 文本编码器的正负文本输入相连接，并将输出端与 K 采样器的正负条件相接，从而将 ControlNet 整合进整体流程。

其他节点链接：

controlnet加载器链接到controlnet应用(高级)的Controlnet节点

AUX 集成预处理器的图像输出节点链接到controlnet应用(高级)的图像输入节点

controlnet串联在CLIP文本编码器与K采样器之间

参数微调

• 在“AUX 集成预处理器”中，选择合适的预处理器类型。
• 对应地，在“ControlNet 加载器”中选择匹配的模型。
• 在“ControlNet 应用”节点中，强度参数（即权重）可调节控制其影响力；开始时间和结束时间则类似于 WebUI 中的起止时间，用于细化控制过程。

多Controlnet的使用

新增上述节点

除正负条件外，其他节点同上述链接

然后将Controlnet应用(高级)节点与之前的进行串联，并链接到K采样器上，如下图：

多controlnet工作流情况

Controlnet堆

使用Controlnet堆自定义节点，可以同时使用3个controlnet，也可以对使用的controlnet进行开关管理

Controlnet堆在工作流的链接，如下图：