一、介绍：

Controlnet可以在SD生成图片的时候对其施加条件控制，当用户输入一张图像时，ControlNet 使用特征提取器来分析输入图像的关键特征，比如边缘、深度、姿势等。然后，这些特征被注入到生成网络中，指导生成过程，确保输出的图像与输入的控制特征相匹配。

如下图，没有ControlNet线稿约束的情况下AI会随机生成，有约束的情况下，会根据提供的线稿进行生成

当然上图只是通过线稿去约束，还有很多玩法，我们一点点展开来学习。

图片来源：https://github.com/lllyasviel/ControlNet

二、安装：

在我提供的SD版本中，Controlnet已经被安装好了，你可以在插件区找到它

如果你没有，可以在扩展页或者启动器通过搜索controlnet进行安装，或者从它的网站获取链接进行安装：https://github.com/Mikubill/sd-webui-controlnet

（安装方法请详见基础课中的如何安装扩展的课）

模型安装：

插件安装好后，我们需要下载模型，它的模型分两种，一种是预处理模型，在安装插件的时候会自动安装

另一种是模型，需要你手动下载

下载地址：

https://github.com/Mikubill/sd-webui-controlnet/wiki/Model-download

Controlnet的模型分为SD1.5的和SDXL的，分别对应大模型进行使用，即，当使用SD1.5的大模型时，需要使用SD1.5的Controlnet；SDXL则使用SDXL的Controlnet。

另外这个链接里面会有很多的作者出的不同版本的controlnet，会比较全，基础入门可以从controlnet原作者推荐的网站进行下来基础的模型，地址为：https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main

这里只有SD1.5的模型。

模型安装到

extensions/sd-webui-controlnet/models文件夹下

三、参数讲解：

1. 启用

作用：开启ControlNet功能的开关

2. 低显存优化

适用于显卡内存低于4GB的设备，有效减轻显存压力，保障运行稳定性。

3. 完美像素模式（Pixel Perfect）

自动调整图像尺寸，确保与【预处理器】输出的图像尺寸完美匹配，避免尺寸不匹配造成的图像失真。

4. 允许预览（Allow Preview）

开启预览窗口，实时展示【预处理器】处理后的图像效果，便于调整和优化。

5. 预处理器

根据ControlNet模型提取图像特征，为后续图像生成提供关键信息。

6. 模型

需与【预处理器】模型相匹配，用于对生成图片施加控制。

7. 权重（Control Weight）

决定ControlNet对图像生成的控制强度，低权重允许更多自由度，高权重则更紧密地遵循控制条件，需寻找最佳平衡点。

8. 引导介入时机（Starting Control Step）与引导推出时机（Ending Control Step）

控制ControlNet在图像生成过程中的介入和退出时机，影响图像生成的自由度和控制度。

9. 参数分辨率（Annotator Resolution）

分辨率高低影响图像清晰度和效果，需根据需求调整。

10. 控制模型

默认均衡，选择更偏向提示词，则Controlnet的影响会变弱，选择更偏向Controlnet则Controlnet的影响会变强。

11. 缩放模式

与【图生图】中的缩放模式相同，用于调整图像尺寸，确保与生成需求匹配。

四、分类：

Controlnet的种类很多，如下图：

但是很多功能已经被淘汰或者基本上不使用，我们讲重点讲解：线稿约束，姿态约束，深度约束，Tile，局部重绘，IP-Adapter和Instant-ID，其中IP-Adapter和Instant-ID会在后面单独开课讲解。