一、介绍:

BrushNet是一款强大的图像处理工具,可以移除对象,替换对象,更换背景,扩图等等

二、下载:

2.1 插件地址:

https://github.com/nullquant/ComfyUI-BrushNet.git

2.2 安装依赖:

pip install -r requirements.txt

2.3 下载模型:

模型有3种,分别是:
● brushnet模型;
● PowerPaint模型;
● 文本编码器模型。

2.3.1 brushnet模型

brushnet的基础大模型,其中random_mask_brushnet_ckpt模型更通用,segmentation_mask_brushnet_ckpt模型适合相同形状的物品生成。

2.3.1.1 下载地址:

https://drive.google.com/drive/folders/1fqmS1CEOvXCxNWFrsSYd_jHYXxrydh1n

2.3.1.2 安装目录:

./models/inpaint

2.3.2 PowerPaint模型

增强文本描述的准确性,多用于对象移除和扩图功能。

2.3.2.1 下载地址:

https://huggingface.co/JunhaoZhuang/PowerPaint-v2-1/tree/main/PowerPaint_Brushnet

2.3.2.2 安装目录:

./models/inpaint

2.3.3 文本编码器模型

2.3.3.1 下载地址:

https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main/text_encoder

2.3.3.2  安装目录:

./models/clip

2.4 使用方法:

2.4.1 元素替换

涂抹需要替换的元素,然后输入需要替换的提示词,通过BrushNet就可以对其进行替换。

替换前:

替换后:

2.4.2 节点说明:

Brushnet节点

应用Brushnet的主要节点,输出端链接到K采样器,如下图:


输入端:
模型:链接到Checkpoint加载器的大模型
VAE:接受Checkpoint加载器的VAE模型
图像:接受图像输入
遮罩:接受遮罩
BrushNet:接受BrushNet大模型
正面条件:接受CLIP文本编码器数据
负面条件:接受CLIP文本编码器数据

参数:
缩放:类似于权重值,通常0.8-1之间
开始引导步数:开始时间
结束引导步数:持续时间

Brushnet加载器

加载Brushnet大模型

 

2.4.3 背景生成

本质上也是【元素替换】,只不过替换的是背景,所以与【元素替换】的区别在于遮罩部分是背景
扩图
扩图前:

扩图后:

扩图工作流与上述的区别在于将BrushNet节点换成了PowerPaint节点

多了一个CLIP输入节点,与PowerPaintCLIP加载器相链接

原Brushnet节点换成了PowerPaint,同样是链接到BrushNet,使用的师PowerPaint的大模型

使用外补画板设置扩图的范围

注意:
提示词需要输入”empty scene“,否则会报错。

 

如有疑问可联系:wxmm19950101
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →