一、介绍:
BrushNet是一款强大的图像处理工具,可以移除对象,替换对象,更换背景,扩图等等
二、下载:
2.1 插件地址:
https://github.com/nullquant/ComfyUI-BrushNet.git
2.2 安装依赖:
pip install -r requirements.txt
2.3 下载模型:
模型有3种,分别是:
● brushnet模型;
● PowerPaint模型;
● 文本编码器模型。
2.3.1 brushnet模型
brushnet的基础大模型,其中random_mask_brushnet_ckpt模型更通用,segmentation_mask_brushnet_ckpt模型适合相同形状的物品生成。
2.3.1.1 下载地址:
https://drive.google.com/drive/folders/1fqmS1CEOvXCxNWFrsSYd_jHYXxrydh1n
2.3.1.2 安装目录:
./models/inpaint
2.3.2 PowerPaint模型
增强文本描述的准确性,多用于对象移除和扩图功能。
2.3.2.1 下载地址:
https://huggingface.co/JunhaoZhuang/PowerPaint-v2-1/tree/main/PowerPaint_Brushnet
2.3.2.2 安装目录:
./models/inpaint
2.3.3 文本编码器模型
2.3.3.1 下载地址:
https://huggingface.co/runwayml/stable-diffusion-v1-5/tree/main/text_encoder
2.3.3.2 安装目录:
./models/clip
2.4 使用方法:
2.4.1 元素替换
涂抹需要替换的元素,然后输入需要替换的提示词,通过BrushNet就可以对其进行替换。
替换前:
替换后:
2.4.2 节点说明:
Brushnet节点
应用Brushnet的主要节点,输出端链接到K采样器,如下图:
输入端:
模型:链接到Checkpoint加载器的大模型
VAE:接受Checkpoint加载器的VAE模型
图像:接受图像输入
遮罩:接受遮罩
BrushNet:接受BrushNet大模型
正面条件:接受CLIP文本编码器数据
负面条件:接受CLIP文本编码器数据
参数:
缩放:类似于权重值,通常0.8-1之间
开始引导步数:开始时间
结束引导步数:持续时间
Brushnet加载器
加载Brushnet大模型
2.4.3 背景生成
本质上也是【元素替换】,只不过替换的是背景,所以与【元素替换】的区别在于遮罩部分是背景
扩图
扩图前:
扩图后:
扩图工作流与上述的区别在于将BrushNet节点换成了PowerPaint节点
多了一个CLIP输入节点,与PowerPaintCLIP加载器相链接
原Brushnet节点换成了PowerPaint,同样是链接到BrushNet,使用的师PowerPaint的大模型
使用外补画板设置扩图的范围
注意:
提示词需要输入”empty scene“,否则会报错。
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →