21| ControlNet-线稿约束

简述

“线稿约束”即：ControlNet 可以利用输入的线稿图像作为引导，确保生成的图像遵循线稿的基本结构和轮廓。

种类

常用的ControlNet的线稿约束有以下几种：

1、Canny 硬边缘线稿：识别出更多的线条，但也会把杂乱的信息带入

2、lineart 艺术线稿：会筛选线条，可针对不同风格的图片提取线稿

3、SoftEdge 软边缘线稿：更加模糊的线条提取，更大的创意空间

4、MLSD 直线：只识别直线和拐角，通常运用在建筑和室内设计上

另外还要涂鸦等线稿约束，但是不常用，用法与其他线稿约束一样，暂时忽略，需要了解的同学可以移步SD webUI Controlnet的课程详细了解。

控制过程：

1. 准备线稿图像：

• • 线稿可以是手工绘制的，也可以是从现有图像中提取的边缘轮廓。
  • 控制模型如 Canny 边缘检测、Lineart 或 SoftEdge 等可以用于自动从照片或图像中生成线稿。

2. 加载 ControlNet 模型：

• • 在 Comfyui 中选择适当的 ControlNet 模型，如 Lineart 或 Canny 等，这取决于你希望如何处理线稿。

3. 设置 ControlNet 参数：

• • 控制权重（Control Weight）：调整这个参数可以改变线稿对生成图像的影响程度。较高的权重意味着生成的图像将更严格地遵循线稿，而较低的权重则会增加生成图像的自由度。
  • 启动控制的步数：这决定了 ControlNet 开始影响生成过程的时间点。通常，较早介入（如从第一步开始）有助于确保生成图像更紧密地跟随线稿。
  • 结束控制的步数：这决定了 ControlNet 停止影响生成过程的时间点。如果设置得太早，可能不会完全遵循线稿；如果太晚，则可能过于依赖线稿，限制创意空间。

4. 生成图像：

• • 提供文本提示和线稿图像作为输入，Comfyui 将结合这些信息生成最终的图像。
  • 可以使用不同的文本提示和风格模型来探索不同的生成效果，同时保持线稿的结构不变。

常用预处理器使用：

canny

常用预处理器：Canny细致线预处理器

模型：canny模型

lineart

常用预处理器：lineart艺术线预处理器，AnimeLineArt动漫艺术线预处理器等等

模型：lineart模型

SoftEdge

常用预处理器：HED模糊线预处理器，PidiNet模糊线预处理器

模型：SoftEdge模型

MLSD

常用预处理器：M-LSD线段预处理器

模型：MLSD模型

案例实操

1. 上传写实的人物图片
2. 选择动漫的大模型
3. 通过线稿约束进行生成（使用canny，lineart,SoftEdge都可以）