什么是姿态约束?
姿态约束(Openpose)是一个高级的人体姿态识别系统,能够检测图像中的多个个体的关键点,如下图
当在ComfyUI中使用OpenPose时,ComfyUI可以理解图像中人物的姿势,并基于此生成新的图像
使用方法:
使用OpenPose在ComfyUI中进行图像生成的过程与使用其他ControlNet模型类似,但具体操作会聚焦于人体姿态的检测与应用。下面是详细的步骤说明:
- 加载OpenPose模型:
-
- 确保你的ComfyUI环境中已经安装了OpenPose模型。
- 选择预处理器:
-
- 在ComfyUI中,定位到预处理器模块。选择与OpenPose兼容的预处理器,通常是“OpenPose Preprocessor”。
- 上传源图像:
-
- 将包含人物的图像上传到ComfyUI中,作为预处理器的输入。
- 设置ControlNet参数:
-
- 调整控制权重(Control Weight),启动控制的步数和结束控制的步数等参数,以决定OpenPose姿态信息对图像生成过程的影响程度。
- 提供文本提示:
-
- 输入描述你期望的生成图像风格或细节的文本提示。
- 开始生成:
openpose的分类
openpose的分类主要体现在预处理器上,能检测不同的图像,主要分为:
1、人物检测;
2、动物检测。
其中人物检测可以分别检测,比如只检测脸部,姿势,手部等等。
人物检测
人物检测包括常规的Openpose姿态预处理器,还有DW姿态预处理器和Dense姿态预处理器
Openpose姿态预处理器
默认的姿态预处理器,效果中等。
可以选择检测部位
DW姿态预处理器:
DW姿态预处理器与Openpose姿态预处理器差不多,区别在于DW姿态预处理器会使用到BBox检测和姿态预估模型,因此识别能力要比默认的Openpose姿态预处理器要强。
DW姿态预处理器模型下载和安装
安装目录在下面的文件夹里
.\custom_nodes\comfyui_controlnet_aux\ckpts
bbox_detector |
||
模型名称 |
安装目录 |
下载地址 |
yolox_l.onnx |
yzd-v/DWPose |
|
yolox_l.torchscript.pt
|
hr16/yolox-onnx/ |
https://huggingface.co/hr16/yolox-onnx/blob/main/yolox_l.torchscript.pt |
yolo_nas_l_fp16.onnx |
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_l_fp16.onnx |
yolo_nas_m_fp16.onnx
|
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_m_fp16.onnx |
yolo_nas_s_fp16.onnx |
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_s_fp16.onnx |
pose_estimator |
||
dw-ll_ucoco_384_bs5.torchscript.pt |
hr16/DWPose-TorchScript-BatchSize5/ |
|
dw-ll_ucoco_384.onnx |
yzd-v/DWPose/ |
https://huggingface.co/yzd-v/DWPose/blob/main/dw-ll_ucoco_384.onnx |
|
|
|
Dense姿态预处理器:
Dense姿态预处理器 是一种人体姿势估计器,从有关人体 3D 表面的 RGB 图像中映射各种基于人体的特征。适合多人场景,准确度低。
模型名称 |
安装目录 |
下载地址 |
densepose_r50_fpn_dl.torchscript |
LayerNorm/DensePose-TorchScript-with-hint-image/ |
动物检测:
animal_pose
可以检测出动物的姿态,检测需要使用预处理器模型,另外生成需要使用动物的controlnet模型
动物controlnet模型下载地址:
https://huggingface.co/huchenlei/animal_openpose/tree/main
bbox_detector |
||
模型名称 |
安装目录 |
下载地址 |
yolox_l.onnx |
yzd-v/DWPose |
|
yolox_l.torchscript.pt
|
hr16/yolox-onnx/ |
https://huggingface.co/hr16/yolox-onnx/blob/main/yolox_l.torchscript.pt |
yolo_nas_l_fp16.onnx |
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_l_fp16.onnx |
yolo_nas_m_fp16.onnx
|
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_m_fp16.onnx |
yolo_nas_s_fp16.onnx |
hr16/yolo-nas-fp16/ |
https://huggingface.co/hr16/yolo-nas-fp16/blob/main/yolo_nas_s_fp16.onnx |
pose_estimator |
||
rtmpose-m_ap10k_256_bs5.torchscript.pt |
hr16/DWPose-TorchScript-BatchSize5 |
|
rtmpose-m_ap10k_256.onnx |
hr16/UnJIT-DWPose |
https://huggingface.co/hr16/UnJIT-DWPose/blob/main/rtmpose-m_ap10k_256.onnx |
1、本站AI工具使用教程全免费,并且持续更新
2、如果你想看一些例子或者学更多东西,需要花每年128元成为普通会员。
3、对于更专业的商业案例,你需要花599元成为高级会员才能看到。
😊 立刻申请会员😊 →