29| IPAdapter风格学习

介绍：

IPAdapter风格学习是IPAdapter最核心的功能，它可以提取图像中的特征，并进行生成，从而达到替换风格的效果。

假设我们需要生成一张扁平风格的女孩头像，以前的方法我们需要使用扁平风格的大模型，或者找到一个扁平风格的lora

如下图，我们使用了扁平风格的大模型

但是很多情况，对于某些特定的风格，我们不一定能找到合适的大模型或者lora，比如客户觉得上面的图片还是偏二次元了，想要插画一点，要求是以下扁平风格或者风格接近下图的图片，一时也找不到适配的模型，训练模型时间和成本非常高，这个时候就需要使用IPAdapter来处理。

使用方法：

1、加载默认的文生图工作流

2、加载IPAdapter节点组

这里使用到的是应用IPAdapter(高级)+IPAdapter模型加载器+CLIP视觉加载器+加载图像节点

3、节点介绍：

a\ 应用IPAdapter(高级)

功能：读取并转换图像风格或造型特征
输入：

• 模型：接受大模型的输入
• ipadapter：接受 ipadapter 模型
• 正面图像：接受图像的输入
• 负面图像：接受负面图像输入，有点类似于负面提示词，这里链接一张图片过来相当于告诉AI，我不想要这个图像的特征。
• 关注层遮罩：接受图像遮罩，只会识别和处理图像遮罩的部分
• CLIP视觉：接受视觉编码器模型

参数：

• 权重：参考权重
• 权重类型：IPA的权重类型
• 合并嵌入组：图像特征和其他问题提示词的组合方式
• 开始应用位置：作用开始时间
• 结束应用位置：作用结束时间

输出：

• 模型：输出经过 ipadapter 引导的大模型

b\ IPadpter模型加载器

作用：加载IPadpter的模型

c\ CLIP视觉模型加载器

作用：加载CLIP视觉模型，属于预处理模型，对图像进行预处理。

3、链接节点

输入：

模型：链接到Checkpoint加载器；

IPAdapter:链接到IPAdapter模型加载器；

正面图像：链接到加载图像；

CLIP视觉：链接到CLIP视觉加载器。

输出：

模型：链接到K采样器

4、参数设置：

1\在IPAdapter模型加载器选择适配的模型

如果你的大模型是SD1.5的，则选择ip-adapter-plus_sd15.safetensors,

如果是SDXL的则选择ip-adapter-plus-face_sdxl_vit-h.safetensors,

2\权重设置

如果大模型风格与上传图片风格接近，权重设置在0.8-1.0之间会比较接近上传图片的风格；

如果相差较大可以设置到1.5。 这里我们选择的是写实大模型，所以讲权重设置为1.5

3\权重类型

常用的权重类型：

线性（linear）不仅迁徙风格特征，还会迁徙造型特征，

style transfer，仅迁徙风格特征

strong style transfer 强迁徙风格特征，也会少量迁徙造型特征

style transfer precise 可以通过设置参数来调整风格学习的方式，需要配合节点IPAdapter Mad Scientist才能使用

这里我们选择线性（linear）

5、其他设置

选择写实类大模型，输入提示词：1 girl,Flat illustration，然后点击生成

可以看到，即使我们使用的是写实类的大模型，在没有使用lora的情况下，也同样生成了一张与上传图片风格接近的扁平风格的图片。

由于我们使用的是线性（linear），不仅迁徙了风格，还迁徙了造型特征，所以生成的图片的造型会与参考图片接近。

这里可以使用style transfer，只迁徙风格，不迁徙造型，但是效果会差很多。 效果最好的是style transfer precise，我们会在后面开专门的课来讲解。