什么是姿态约束?

姿态约束(Openpose)是一个高级的人体姿态识别系统,能够检测图像中的多个个体的关键点,如下图

当在ComfyUI中使用OpenPose时,ComfyUI可以理解图像中人物的姿势,并基于此生成新的图像

使用方法:

使用OpenPose在ComfyUI中进行图像生成的过程与使用其他ControlNet模型类似,但具体操作会聚焦于人体姿态的检测与应用。下面是详细的步骤说明:

  1. 加载OpenPose模型
    • 确保你的ComfyUI环境中已经安装了OpenPose模型。

  1. 选择预处理器
    • 在ComfyUI中,定位到预处理器模块。选择与OpenPose兼容的预处理器,通常是“OpenPose Preprocessor”。

  1. 上传源图像
    • 将包含人物的图像上传到ComfyUI中,作为预处理器的输入。
  1. 设置ControlNet参数
    • 调整控制权重(Control Weight),启动控制的步数和结束控制的步数等参数,以决定OpenPose姿态信息对图像生成过程的影响程度。

  1. 提供文本提示
    • 输入描述你期望的生成图像风格或细节的文本提示。
  1. 开始生成

openpose的分类

openpose的分类主要体现在预处理器上,能检测不同的图像,主要分为:

1、人物检测;

2、动物检测。

其中人物检测可以分别检测,比如只检测脸部,姿势,手部等等。

人物检测

人物检测包括常规的Openpose姿态预处理器,还有DW姿态预处理器和Dense姿态预处理器

Openpose姿态预处理器

默认的姿态预处理器,效果中等。

可以选择检测部位

DW姿态预处理器:

DW姿态预处理器与Openpose姿态预处理器差不多,区别在于DW姿态预处理器会使用到BBox检测和姿态预估模型,因此识别能力要比默认的Openpose姿态预处理器要强。

DW姿态预处理器模型下载和安装

安装目录在下面的文件夹里

.\custom_nodes\comfyui_controlnet_aux\ckpts

bbox_detector

模型名称

安装目录

下载地址

yolox_l.onnx

yzd-v/DWPose

https://huggingface.co/yzd-v/DWPose/blob/main/yolox_l.onnx

yolox_l.torchscript.pt

 

hr16/yolox-onnx/

https://huggingface.co/hr16/yolox-onnx/blob/main/yolox_l.torchscript.pt

yolo_nas_l_fp16.onnx

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_l_fp16.onnx

yolo_nas_m_fp16.onnx

 

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_m_fp16.onnx

yolo_nas_s_fp16.onnx

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_s_fp16.onnx

pose_estimator

dw-ll_ucoco_384_bs5.torchscript.pt

hr16/DWPose-TorchScript-BatchSize5/

https://huggingface.co/hr16/DWPose-TorchScript-BatchSize5/blob/main/dw-ll_ucoco_384_bs5.torchscript.pt

dw-ll_ucoco_384.onnx

yzd-v/DWPose/

https://huggingface.co/yzd-v/DWPose/blob/main/dw-ll_ucoco_384.onnx

Dense姿态预处理器:

Dense姿态预处理器 是一种人体姿势估计器,从有关人体 3D 表面的 RGB 图像中映射各种基于人体的特征。适合多人场景,准确度低。

模型名称

安装目录

下载地址

densepose_r50_fpn_dl.torchscript

LayerNorm/DensePose-TorchScript-with-hint-image/

https://huggingface.co/LayerNorm/DensePose-TorchScript-with-hint-image/blob/main/densepose_r50_fpn_dl.torchscript

动物检测:

animal_pose

可以检测出动物的姿态,检测需要使用预处理器模型,另外生成需要使用动物的controlnet模型

动物controlnet模型下载地址:

https://huggingface.co/huchenlei/animal_openpose/tree/main

bbox_detector

模型名称

安装目录

下载地址

yolox_l.onnx

yzd-v/DWPose

https://huggingface.co/yzd-v/DWPose/blob/main/yolox_l.onnx

yolox_l.torchscript.pt

 

hr16/yolox-onnx/

https://huggingface.co/hr16/yolox-onnx/blob/main/yolox_l.torchscript.pt

yolo_nas_l_fp16.onnx

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_l_fp16.onnx

yolo_nas_m_fp16.onnx

 

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_m_fp16.onnx

yolo_nas_s_fp16.onnx

hr16/yolo-nas-fp16/

https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_s_fp16.onnx

pose_estimator

rtmpose-m_ap10k_256_bs5.torchscript.pt

hr16/DWPose-TorchScript-BatchSize5

https://huggingface.co/hr16/DWPose-TorchScript-BatchSize5/blob/main/rtmpose-m_ap10k_256_bs5.torchscript.pt

rtmpose-m_ap10k_256.onnx

hr16/UnJIT-DWPose

https://huggingface.co/hr16/UnJIT-DWPose/blob/main/rtmpose-m_ap10k_256.onnx

如有疑问可联系:wxmm19950101
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →