MMPose 姿态估计工具箱指南：如何 15 分钟跑通首次推理

MMPose 姿态估计工具箱指南如何 15 分钟跑通首次推理【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose假设任务是这样一段跟练视频需要逐帧输出全身 133 个关键点再和示范视频比对出相似度分数。这类人体检测 → 关键点回归 → 后处理打分的完整链路用 MMPose 姿态估计工具箱可以在半天内搭起来。它提供从 COCO 17 点人体、COCO-WholeBody 133 点全身到人脸、手部、动物、3D 姿态的预训练模型和配套训练代码适合需要落地姿态功能、但不想自己从零搭 pipeline 的工程师想复现论文或对比不同算法的算法同学也能直接用它当基线平台。下图是一张典型的 COCO 测试图后续安装验证和推理演示都会用它或同目录图片。覆盖的任务与模型档位先看它到底管什么用一张表说清范围维度支持情况2D 人体COCO 17 点数据集含 COCO、MPII、CrowdPose 等全身关键点COCO-WholeBody 133 点身体 17 双手 96 面部 20人脸 / 手部300W、WFLW、LAPA、RHD、OneHand10K 等3D 姿态H36M、InterHand 等支持单图/视频 lift 到 3D动物 / 时尚AP-10K136 类动物、DeePfashion 地标算法路线热图top-down / bottom-up、SimCC 坐标回归、AE、RTMO 端到端等 20 方法RTMPose、HRNet、ViTPose、SimpleBaseline、DeKR 等也就是说除人体外的任务不用换框架。比如同一套推理入口换配置就能切到动物关键点从克隆仓库到跑通第一张推理整个上手过程只有三步每步解决一个问题环境、代码、首次出图。第 1 步拉取仓库并以开发模式安装当前版本 1.3.2要求 Python 3.7、PyTorch 1.8git clone https://gitcode.com/GitHub_Trending/mm/mmpose cd mmpose pip install -v -e .第 2 步先装好与机器匹配的 PyTorch/CUDA 环境见docs/zh_cn/installation.md支持 CPU 环境否则推理会直接报 CUDA 错误。第 3 步用 Inferencer 跑第一张图。模型名可以直接用 metafile 里注册的别名权重自动下载不需要手动找 .pth 文件python demo/inferencer_demo.py \ --pose2d rtmpose-m \ tests/data/coco/000000196141.jpg \ --vis-out-dir outputs/跑完outputs/里会出现叠加了骨架线的可视化图。想确认 GPU 可用把--device显式设为cuda:0即可inferencer_demo.py同时接受图片和视频路径这是最常用的一条命令。两个真实落地场景场景一健身/舞蹈动作比对。问题是学员动作和教练差多少如何量化。仓库自带的projects/just_dance/项目就是为这个做的用 RTMPose 全身模型对教师视频和学员视频分别提取关键点做片段对齐后计算相似度输出打分和合并视频。在projects/just_dance/目录下执行python process_video.py teacher.mp4 student.mp4它还提供app.py起 Gradio 服务支持摄像头实时输入适合快速做内部演示。场景二视频流多人姿态分析。单图 top-down 推理解决不了帧里先找到人的问题。MMPose 的 top-down 方案先跑一个 RTMDet 人检模型框出人体再逐框跑姿态模型demo/topdown_demo_with_mmdet.py把这个两段式流程封装成一条命令python demo/topdown_demo_with_mmdet.py \ demo/mmdetection_cfg/rtmdet_m_640-8xb32_coco-person.py \ rtmdet权重路径 \ configs/body_2d_keypoint/rtmpose/coco/rtmpose-m_8xb256-420e_coco-256x192.py \ rtmpose权重路径 --input video.mp4 --output-root outputs/检测器配置在demo/mmdetection_cfg/里按精度/速度分了数档rtmdet-nano 到 cascade_rcnn_x101人群越密越要往上选。多人遮挡场景的输入长这样如果还需要关键点序列做跟踪而不是每帧独立输出可以看docs/zh_cn/user_guides/下的 webcam 与 tracking 相关脚本说明。我该选哪个模型精度、实时与资源受限选型时只看两个数AP精度和单帧延迟速度。以下数据来自仓库内配置 README 与projects/rtmpose/benchmark/的实测表COCO 17 点TensorRT FP16 延迟需求推荐配置AP (COCO)参数量参考延迟精度优先RTMPose-l384×28877.327.79M1.74msRTX 3090实时优先RTMPose-m256×19275.813.59M1.18msRTX 3090/ 11.06msi7 CPU, ORT资源受限移动端RTMPose-t256×19268.53.34M9.02ms骁龙 865, ncnn FP16全身 133 点RTMPose-l384×288Whole AP 64.8COCO-WholeBody v1.0—5.08msJetson AGX Orin, TRT FP16取舍建议服务器端批处理直接用 RTMPose-l在线服务、对延迟敏感的选 RTMPose-m它比 l 只低约 1.5 个 AP要上手机/边缘板就选 RTMPose-t参数量只有 l 的 1/8。全身任务含手和脸注意精度口径不同Whole AP 会低于身体 17 点的 AP属正常现象。人脸等细粒度任务同理在对应configs/face_2d_keypoint/下按输入尺寸选 m 或 l。进阶自定义数据集训练与部署优化训练自己的数据入口在tools/dataset_converters/先用对应脚本如parse_animalpose_dataset.py把私有标注转成 COCO 格式然后复制一份 configs/base/datasets/coco.py 类配置改路径和关键点数组合 backbone/head 写成完整配置最后执行python tools/train.py 你的配置.py多卡则换成tools/dist_train.sh。部署与推理优化标准路线是 MMDeploy 导出 ONNX / TensorRT / ncnn。各硬件上的实测延迟汇总在projects/rtmpose/benchmark/README_CN.md覆盖 i7 CPU、GTX 1660Ti、RTX 3090、Jetson Orin、骁龙 865 等导出前先查目标平台那一列避免选了跑分好看但目标硬件上没有优势的档位。相关项目与资源框架本身保持可插拔周边扩展都放在projects/下projects/rtmpose3d/3D 姿态、projects/pose_anything/通用姿态、projects/yolox_pose/端到端、projects/skps/骨骼化。训练、测试、数据集准备的完整文档在 docs/zh_cn/user_guides/。下一步建议先把demo/inferencer_demo.py这条命令在你的机器上跑通再带着实际业务视频去docs/zh_cn/user_guides/train_and_test.md看训练流程——从一条命令到能训练的完整配置通常一个下午就够。【免费下载链接】mmposeOpenMMLab Pose Estimation Toolbox and Benchmark.项目地址: https://gitcode.com/GitHub_Trending/mm/mmpose创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考