18| Lora的使用-黑萝AI创艺坊

大家好，今天我们学习LoRA的使用。

LoRA模型概览

LoRA（Low-Rank Adaptation）指的是一个专门用于微调预训练模型的技术，尤其是针对像Stable Diffusion这样的大型图像生成模型。这个技术允许用户以较少的数据和计算资源来定制模型，使其能够生成特定样式、角色或细节的图像。

简单的说：

如果你想让AI画出像梵高那样的星空，但是你的大模型不是这种风格的，如果训练这种风格的大模型需要很多的图片和成本，而训练lora只需要少量的图片就可以了，训练之后的LoRA就能帮助AI更好地理解和模仿梵高的画风，最终生成梵高风格的图片。

模型获取与安装

C站

https://civitai.com/

liblib

https://www.liblib.art/

LoRA模型的常见文件格式包括.ckpt, .safetensors, 和.pt。这些模型文件大小通常介于10MB至200MB之间，建议统一存放于SD文件夹下的ComfyUI\models\loras目录内。

LoRA加载器节点解析

接下来，我们学习LoRA加载器节点。在工作流中，该节点扮演着承上启下的角色，连接大模型与CLIP文本编码器。

输入与输出

输入端接收来自Checkpoint加载器的模型和CLIP模型，这是生成过程的起点。

输出端则对接K采样器和CLIP文本编辑器，传递处理后的模型和CLIP信息，推动创作流程。

组件调整

LoRA名称选项可以选择已下载的模型，而模型强度与CLIP强度的调节，则是创造个性化的关键。每个LoRA模型都有其独特的工作方式，需要最适合的强度设置，才能达到最好的效果。

模型权重与clip权重的区别：

模型强度（Model Strength）的例子：如果我们想要生成一幅图像，文本提示是“一只猫坐在窗台上”，并且我们选择了一个扁平风格的LoRA模型。模型强度的调整将决定最终图像中扁平风格的强烈程度。如果我们将模型强度设置得较高，生成的图像将明显具有扁平特征。反之，如果模型强度较低，则生成的图像可能更接近Stable Diffusion默认风格，扁平特征不那么明显。

CLIP强度（CLIP Strength）的例子：继续上面的场景，如果我们希望生成的图像不仅是一只猫，而且要特别符合扁平的描绘方式，我们可以通过调整CLIP强度来实现。如果CLIP强度较高，LoRA模型将更加强烈地影响CLIP模型对“一只猫坐在窗台上”的文本提示的理解，从而确保生成的图像不仅包含猫和窗台，而且还强烈地体现了扁平风格。如果CLIP强度较低，生成的图像可能更忠实地遵循文本提示，而风格化的效果则较弱。