1. 为什么2020年的综述要专门给Bottom-Up留出一整章先抛一个现象。我整理手头姿态估计的方案选型时发现一个很有趣的规律同样一张密集人群的照片自顶向下模型在单人特写里能跑出极高的关键点精度一旦画面里挤了十几个人命中率就断崖式下跌反过来自底向上模型在单人场景里经常被批评“精度不够顶”但在人群密集、遮挡严重的环境下反而稳得让人意外。这种反直觉的对比正是2020年人体姿态估计综述特意为2D Bottom-Up Multi-Person Pose Estimation单独立章的根本原因——不是这条路线不够主流而是它的价值恰好藏在主流方法最吃力的地方。所谓自底向上理解起来其实很简单先把图像里所有出现的人体关键点全部检测出来不管这些点分别属于谁然后通过某种分组策略把属于同一个人的关键点拼装回去。整个过程只需要对整张图做一次前向推理不需要先检测人的边界框。研究综述里把它归为“检测-分组”范式在实际部署里它最直接的优势就是推理速度不随人数线性增长甚至可以说人数越多越能体现出优势。这篇文章我打算从三个层面展开第一把自底向上路线的核心流程和技术演进脉络讲清楚尤其是2020年前后已经被验证过的几类分组机制和它们各自的适用边界第二结合我在实践里踩过的坑和数据评测细节聊聊这条路线的真实表现以及为什么很多人一上手就翻车第三说一些综述里通常不会写、但你在复现和部署时一定用得上的经验。如果你正在做人体姿态估计、动作识别、人机交互或视频监控相关的项目这篇内容应该能帮你少走不少弯路。2. Top-Down与Bottom-Up的本质分歧误差源头完全不同2.1 自顶向下为什么在密集场景里吃亏自顶向下Top-Down的流程是“先检测人再估计姿态”。算法先通过一个目标检测器找出图像里的所有人框接着把每个检测框裁剪出来分别送入单人姿态估计网络得到每个人各自的关键点。问题在于这个流程天然存在两个误差放大器。第一个放大器是人框检测本身。人框一旦漏检后面姿态估计做得再好也没有用。第二个放大器是框的裁剪质量。一个检测框稍微偏了一点把旁边人的手臂或头部带进来单人姿态网络就很容易被干扰输出关键点位置出现偏移。2020年前后的检测器在通用目标上已经相当成熟但对密集小尺度人体、严重遮挡场景仍然力不从心。你可以想象一下一张街拍照片里十几个行人相互交错检测框彼此重叠Top-Down方法光是框的IoU稳定性就需要大量调参。另外还有计算效率的问题。图像里有N个人Top-Down就要跑N次单人姿态网络算力开销随人数近似线性增长。哪怕加上了人框区域裁剪、缩放、batch推理等优化手段帧率也依然受人数上限影响明显。对于实时要求的场景这个短板非常致命。2.2 自底向上的误差传导完全换了一个方向Bottom-Up的处理顺序恰恰反过来。网络先对整张原始图输出各自关键点位置的热图heatmap这些热图上每个通道对应一个关键点类别比如左肩、右肘、左髋然后再通过配套的分组模块把不同通道的峰值点关联成一条条完整的人体骨架。由于全程只做一次前向计算量对人数不敏感天然适合人群密度高的场景。但误差也换了一个形态它不是漏掉“人框”而是错判“组合关系”。比如两个人挨得很近网络把A的左手肘和B的左手腕拼到了同一个人身上就会产生虚假骨架。分组错误是这条路线最典型的错误模式也是最让人头疼的问题因为它的表现不是“检测不到”而是“看起来顺理成章但实际拼错了人”。这类错误的隐蔽性比Top-Down的漏检棘手得多。在实际业务里漏检很好向客户解释但“两根手臂来源于不同的人却拼在一起”的骨架常常带来很多麻烦。下面这张表总结了我个人对两条路线差异的理解对比维度Top-Down自顶向下Bottom-Up自底向上基本流程先检测人框再单人姿态估计先检测所有关键点再分组对人数敏感性高延迟随人数上升低一次前向延迟稳定主要误差模式人框漏检、框裁剪偏差关键点错分组、跨人拼接单人高精度场景优势明显精度上限略低密集人群场景命中率下降严重稳定性较好计算开销与人数线性相关基本恒定2.3 两条路线的共性基础关键点热图回归有一点需要先说明无论Top-Down还是Bottom-Up在2020年前后的主流实现里关键点位置的回归方式都趋于统一都采用“热图回归”而不是直接回归坐标。网络最后输出一个W×H×C的特征图C代表关键点类别数每个空间位置的值表示该位置出现某类关键点的置信度。训练时把每个真实关键点投影成一个小的二维高斯分布让网络去拟合这个高斯峰。这种方式比直接回归坐标更容易收敛因为空间泛化更平滑梯度更容易传导。理解了热图回归再回头看Bottom-Up就会发现问题聚焦得很清晰网络要做好的不只是输出峰值的精度还要让不同关键点类别之间的特征在分组维度上具备可分性。这是后续所有分组机制设计的出发点也是整篇综述Part3真正的技术主线。3. Bottom-Up的关键步骤拆解从“一堆点”到“一条骨架”3.1 关键点候选的提取和后处理在拿到网络输出的热图之后第一步是从每个通道中提取候选关键点。常规操作是找局部最大值遍历热图把值大于周围邻域且大于某个置信度阈值的空间位置视为一个候选峰值。这一步等价于一个非极大值抑制NMS只是不需要像通用目标检测那样计算IoU直接在热图空间里做局部窗口比较就行。实际操作中有几个细节经常被忽略。第一个是热图的下采样倍数。如果网络输出特征图是输入图的1/4大小那么热图上的一个像素偏移到原图就变成了4像素误差这个误差在关键点定位上属于系统性偏差不可忽视。第二个细节是热图分辨率与感受野的平衡。分辨率越高定位越精细但显存开销和计算量同步上涨分辨率太低小组别的峰值很容易被平滑掉。第三个细节是阈值的选择。阈值过高会漏掉低置信度但真实存在的关键点阈值太低又会引入大量噪声候选增加后面分组匹配的负担。在这里分享一个我自己常用的后处理惯用方法在热图峰值周围做一个基于高斯加权的位置微调把峰值坐标按置信度做亚像素细化。具体做法是以峰值点为圆心取半径R内的热图值作为权重加权平均得到更精确的位置。这样做可以显著缓解下采样带来的误差也不用额外增加网络计算量性价比很高。3.2 分组的三类判定依据候选关键点提取完之后最关键的就是分组。分组本质上是在做“哪些点属于同一个人”的二部图匹配或聚类。2020年之前的技术路线基本围绕三种判定依据展开空间距离、肢体连接向量、嵌入特征距离。这里我用生活化的比喻帮助理解假设你在一个热闹的广场上拍了一张照片要想确认哪些手臂和腿属于同一个人你会怎么做第一种办法是看距离——靠得近的器官大概率属于同一个人但人群一挤这个假设就不成立了第二种办法是看衣物和肢体朝向——如果小臂和大臂之间的连接看起来自然方向一致就倾向于认为它们是同一人的第三种办法是给每个人发一个“编号”所有编号相同的部位属于同一个人。三种方法各有各的局限但组合起来就会稳健很多。空间距离分组是最朴素的方法把距离最近的关键点连接成骨架。优点是实现简单缺点是一旦二人距离很近错分组率极高。肢体连接向量则更进一步不仅看距离还看连接方向是否与肢体应有的朝向匹配。这类算法在密集场景下的表现要明显优于纯距离方法。嵌入特征距离是当时较新的思路训练时让同一个人的所有关键点共享相近的嵌入向量不同人的关键点嵌入向量距离拉远分组问题就转化为聚类问题。这种方法自由度较大能适应不同肢体形态变化。3.3 分组问题的数学本质匹配与聚类把分组映射成数学问题可以分为两类一类是图匹配另一类是聚类。图匹配的思路是构建一个图节点是关键点候选边的权重由连接分数决定然后求解最优匹配使得总连接分数最大。经典实现里常用贪心算法或匈牙利算法近似求解。聚类思路则完全换了一种做法通过优化损失函数让网络直接输出关键点所属的“人物嵌入标签”然后在嵌入空间中做聚类同一个聚类里的关键点被视为同一个人。这里的难点在于聚类数量是动态的、随图像内容变化的不能预设固定类别数。这也是为什么嵌入向量方法的训练目标通常设计成“拉近属于同一人的特征、推开不同人的特征”而不是直接预测类别ID。在综述Part3里作者花了很大篇幅归纳这些分组策略各自的数学形式和适用条件我的理解是这段内容的真正价值不是罗列方法而是为后续研究者提供一个重要视角分组精度和关键点检测精度同等重要甚至决定了整个系统的上限。4. 分组机制的演进主线PAF、关联嵌入与中心点方案4.1 部件亲和场PAF用方向向量编码肢体连接要谈Bottom-Up绕不开部件亲和场Part Affinity FieldsPAF这一经典方案。PAF的核心想法是对每个肢体连接比如左肩-左肘在网络输出的特征图上额外预测一个二维向量场向量方向从肢体一端指向另一端并且只在肢体区域内有值。这样给定一个关键点和另一个候选关键点时可以沿两者连线对向量场做线积分积分值越高说明连线方向与肢体方向越一致两者属于同一个人的概率就越大。实际使用中PAF与距离信息配合再通过匈牙利算法或贪心策略做二分图匹配。它的高光时刻在于多人场景下的鲁棒性即使两个关键点距离很近只要它们之间的方向向量与真实肢体不一致积分分数就会下降从而有效避免错分组。2019年前后的许多工程系统仍在使用基于PAF的方法可见这套思想的持久性。PAF当然也有弱点。它只对单段肢体连接建模对于被遮挡的关键点如果连线上缺少有效的向量场响应积分值就会偏低。此外在多人肢体交叉密集的角落向量场之间会互相干扰匹配容易出现歧义。解决思路通常是增加更大的感受野让网络在更宏观的上下文里判断肢体方向或者引入注意力机制强调可见部分。4.2 关联嵌入Associative Embedding给关键点发“人物编号”如果说PAF是在“肢体”上做文章关联嵌入Associative Embedding就是把问题直接转换为“给每个人分配一个编号”。该方案在训练时增加一个嵌入分支输出每个关键点的嵌入向量目标——同一人的关键点嵌入向量应相互靠近不同人的应相互疏远。推理时先用聚类算法如简单的贪心分组把嵌入距离近的关键点聚成一组一组对应一个人。这种方法的优势在于它的分组信号来自全局语义而不是局部肢体方向因此对遮挡和肢体交叉的容忍度更高。在多人状态下如果嵌入角度区分度足够分组质量往往优于单纯的PAF。但在训练上对数据的均衡性和难例挖掘要求较高。实际经验里嵌入向量很容易陷入“既不分人、也不分部位”的次优解需要设计比较精细的拉近-推开损失权重。我在复现这类方法时的一个发现是嵌入向量的分组效果对关键点类别之间的特征分布非常敏感。如果训练数据里某些关节类别很少出现网络就容易把这几个类别的嵌入放到一个统一的区域导致分组时出现系统性串组。后来我采用了类别均衡采样的训练策略情况才明显好转。这是很多论文里不会细写但你一定会遇到的工程问题。4.3 中心点/根节点方案先找人的“锚”再聚关键点2020年前后另一种思路也逐渐成熟先预测图像中每个人的中心点或根节点位置然后回归出每个关键点相对于中心点的偏移量。这类方法本质上把多人姿态估计转换为一种“基于锚点的目标检测”问题。因为中心点天然是按人区分的只要中心点不重叠分组就基本稳定。方案的优势是计算流程简洁一组关键点和一个中心点共享同一个特征金字塔输出关键点通过偏移量被“拉”到中心点名下不需要额外的匹配或聚类步骤。在密集但中心点可分的场景里速度和精度都比较均衡。缺点也很明显如果图像中两个目标中心点很近比如一个小孩被大人抱着锚点重叠关键点归属就容易混乱。我的建议是如果业务场景是“人员密度高但人物中心可分离”中心点方案可以优先尝试因为工程实现和训练成本相对最低。至于人物深度重叠的情况光靠中心点很难根治还是要回到特征层面去解决。4.4 2020年前后方法对比为了更好说明三类机制在不同维度上的表现差异我根据一些公开评测的归纳和自身实践整理了下表机制类型主要判定信号训练难度密集场景鲁棒性工程部署友好度PAF肢体亲和场局部肢体方向向量中等较高高关联嵌入全局嵌入特征距离较高高中中心点/偏移量人锚点偏移回归中等中高这张表只能说明大致趋势。实际选型时还需要结合数据类型和硬件平台来做权衡我在第五部分会再展开讲。5. 数据集与指标评价的细节比想象中影响更大5.1 COCO、MPII与CrowdPose三种场景的难度分野在2020年那个时间点圈内最常用的人体姿态估计评测集主要是COCO、MPII和CrowdPose。很多人以为它们只是规模不同实际上它们考察的能力差异非常大很容易让人产生“我的模型在这边刷高了、换个场景就不行”的困惑。COCO数据集包含17个关键点定义图像来源广泛人物尺度差异大但其中相当一部分图像里人数其实不多。它更考验模型在通用场景下的均衡表现。MPII数据集采用16个关键点定义主要来自日常活动图片同样存在不少单人图像。CrowdPose则专门收集密集人群场景平均每张图人数远超COCO遮挡情况也更极端。一个模型如果只在COCO上评测分数高直接拿到CrowdPose上表现往往会明显缩水。这三类数据对应到实际业务就是三种完全不同的挑战通用安防摄像头、体育动作分析、商场或车站等高流量人群密度场景。我个人做项目时的经验是评测数据的选择必须和业务场景严格对应否则评测分数再漂亮也说明不了问题。你拿着COCO指标去给客户展示密集场景的效果往往是不太合适的。5.2 OKS、mAP与PCK的计算细节接下来聊聊指标。COCO官方的关键点评估采用OKSObject Keypoint Similarity即物体关键点相似度。它的计算方式是对每个关键点先计算预测位置与真实位置之间的欧氏距离再除以该目标尺度的归一化因子最后经过一个高斯核变换得到一个0到1之间的相似度分数。公式里的分母是2倍的σ的平方σ按关键点类型做归一化处理。mAP的计算是先把所有预测按置信度排序从小到大设定不同的阈值在每个阈值下计算Average Precision最后对所有阈值取平均。因此OKS对预测的“排序质量”相当敏感如果你的模型整体置信度校准不准就算少数关键点定位很准mAP也可能不高。PCKPercentage of Correct Keypoints则更简单直接它判断预测点与真实点的距离是否小于一个与躯干尺寸成比例的阈值更偏向“局部命中率”。我见过不少团队只关注mAP而忽略置信度校准结果在真实部署时发现高置信度的结果反而不靠谱。一个值得尝试的调整是在验证集上对每个关键点类别分别统计OKS的分布重新调整类别间的置信度权重这在多类别关键点共存的系统里很有效。5.3 数据标注质量对Bottom-Up的放大效应这里必须提一个Bottom-Up特有的大坑标注质量的影响比Top-Down更被放大。因为分组是跨关键点进行的如果训练集里同一个人的左肘和左腕标注尺度相对正确但跨人的关键点存在错标漏标网络在学习嵌入或亲和场时就会被注入大量矛盾信号。加上Bottom-Up本身不做“框内裁剪”网络必须学会全局建模标注不一致造成的梯度噪声几乎无法用后处理弥补。解决路径主要有两条一是人工核查和标注规范统一显著提高遮挡区域关键点的标注一致性二是在损失函数里给可见性高的关键点更高权重让网络优先学习干净样本。这些都是在复现论文指标时容易忽略、但真实效果提升明显的长期优化方向。6. 复现与部署的经验几个绕不开的工程细节6.1 热图分辨率与感受野的权衡决定一个Bottom-Up模型精度的两个最重要因素就是热图分辨率和网络感受野。热图分辨率高关键点定位误差小网络感受野大分组判断才能看到足够多的上下文。但在显存有限的条件下两者经常冲突。2020年前后的主流框架通常采用Stride 4的编码器-解码器结构输入尺寸在384×288到512×512之间。我在实际比较中发现如果场景以中近距离人体为主512×512输入配上较大的特征金字塔结构已经够用如果画面里经常出现远距离小目标与其一味抬输入分辨率不如增加感受野。简单说我是把更多的计算资源花费在放大感受野上而不仅仅追求高分辨率。感受野的扩大可以通过叠加更多下采样-上采样块实现也可以在骨干网络中使用扩张卷积替代部分下采样层。不过要注意无脑加深网络会导致训练收敛变慢需要配合更长的预热阶段和学习率调度。6.2 后处理与阈值如何配置分组环节通常有大量超参数最常见的包括关键点置信度阈值、连接分数阈值、NMS窗口大小、二部图匹配的候选数量上限。默认配置往往能跑通流程但很难跑出好效果。我建议的调试顺序是先固定关键点阈值把连接分数阈值放宽观察漏检率的变化再反过来把阈值收紧观察误检率的变化最后找到两种失误率的平衡点。理想的做法是每个关键点类别单独设置阈值因为肩、髋这类大部位和手指、脚尖这类小部位的置信度分布差别很大。在多人场景里小部位类别的峰值通常更弱阈值如果统一设太高会丢弃大量有效关键点。另外要特别留意重复连接的问题。二部图匹配过程中同一个关键点可能被多次匹配进不同的骨架你的后处理里必须有一个“每条边最多只属于一条骨架”的约束逻辑。标准的贪心匹配算法会自动处理这一点但如果你自己实现了简化版匹配这一步很容易漏掉导致同一只手同时出现在两个人身上的诡异结果。6.3 常见翻车场景与改进手段这里分享几个实践中典型的翻车场景。第一个是人物互相遮挡时两人共用某个关键点区域热图会出现双峰融合。这种情况下靠单纯提高阈值是没法解决的我一般会在训练中引入“可见性掩码”作为额外输入通道让网络学习区分被遮挡部位的位置。第二个是小尺度人体。由于下采样后特征几乎消失小目标关键点热图容易整体被背景抑制。有效做法是引入多层特征融合把浅层高分辨率特征与深层语义特征做拼接再进分组头。第三个是上下半身类别不均衡。训练集中下半身关键位置的标注质量通常劣于上半身网络在复杂背景下容易漏掉髋、膝、踝。简单有效的方法是给这些类别更高的损失权重并适当扩增下半身样本。6.4 硬件部署中的延迟与精度平衡如果你要把Bottom-Up模型部署到边缘设备上要考虑的就更多了。2020年的很多预训练模型体积偏大前向时间不可控。我的几条经验是优先考虑对整张图只做一次推理的架构避免任何“检测到人后再局部精修”的串联流程其次分组后处理必须用高效实现比如在GPU上写基于矩阵运算的匹配而不是在CPU上写for循环最后对特征图做半精度推理往往能带来相当可观的端到端加速而精度损失一般可以控制在1%以内。有些人以为Bottom-Up天然就比Top-Down快实际不一定。如果分组后处理写得差耗时可能反而更高。我在某个项目里把PAF的积分匹配从逐对计算改成矩阵批量运算之后单帧延迟直接降了40%。这些工程层次的优化是综述里完全不会涉及但真实系统必不可少的环节。7. 2020年之后的走向两条路线开始互相融合综述Part3的价值不只是回顾它也为后来的人体姿态估计研究提供了一条明确的路线图。2020年之后的很多工作开始吸收Bottom-Up和Top-Down双方的技术优势比如用Top-Down的检测头辅助生成人物的全局上下文再结合Bottom-Up的关键点检测结果做最终精修二者不再是互斥选项而是可以互相打磨的组件。在实际项目中我也尝试过混合策略先用一个轻量级的Bottom-Up模型做全图密集检测筛出可能存在人物的区域再对这些局部区域用一个高精度的单人模型做姿态细化。这种串联方式在帧率和精度上都有不错表现。尤其是在人数波动很大的视频流里混合策略能有效避免“人数一多延迟就崩”的尴尬。如果让我给一个明确的选型建议场景里人数少、单人特写多优先Top-Down人数多且需要稳定帧率优先Bottom-Up人数波动大但硬件资源充裕可以试试混合方案。2020年的这篇综述里作者把Bottom-Up方法单独成章其实也是在提醒从业者——没有一个绝对的胜者只有匹配真实场景的取舍。这种取舍思路直到今天依然适用。
1. 为什么2020年的综述要专门给Bottom-Up留出一整章先抛一个现象。我整理手头姿态估计的方案选型时发现一个很有趣的规律同样一张密集人群的照片自顶向下模型在单人特写里能跑出极高的关键点精度一旦画面里挤了十几个人命中率就断崖式下跌反过来自底向上模型在单人场景里经常被批评“精度不够顶”但在人群密集、遮挡严重的环境下反而稳得让人意外。这种反直觉的对比正是2020年人体姿态估计综述特意为2D Bottom-Up Multi-Person Pose Estimation单独立章的根本原因——不是这条路线不够主流而是它的价值恰好藏在主流方法最吃力的地方。所谓自底向上理解起来其实很简单先把图像里所有出现的人体关键点全部检测出来不管这些点分别属于谁然后通过某种分组策略把属于同一个人的关键点拼装回去。整个过程只需要对整张图做一次前向推理不需要先检测人的边界框。研究综述里把它归为“检测-分组”范式在实际部署里它最直接的优势就是推理速度不随人数线性增长甚至可以说人数越多越能体现出优势。这篇文章我打算从三个层面展开第一把自底向上路线的核心流程和技术演进脉络讲清楚尤其是2020年前后已经被验证过的几类分组机制和它们各自的适用边界第二结合我在实践里踩过的坑和数据评测细节聊聊这条路线的真实表现以及为什么很多人一上手就翻车第三说一些综述里通常不会写、但你在复现和部署时一定用得上的经验。如果你正在做人体姿态估计、动作识别、人机交互或视频监控相关的项目这篇内容应该能帮你少走不少弯路。2. Top-Down与Bottom-Up的本质分歧误差源头完全不同2.1 自顶向下为什么在密集场景里吃亏自顶向下Top-Down的流程是“先检测人再估计姿态”。算法先通过一个目标检测器找出图像里的所有人框接着把每个检测框裁剪出来分别送入单人姿态估计网络得到每个人各自的关键点。问题在于这个流程天然存在两个误差放大器。第一个放大器是人框检测本身。人框一旦漏检后面姿态估计做得再好也没有用。第二个放大器是框的裁剪质量。一个检测框稍微偏了一点把旁边人的手臂或头部带进来单人姿态网络就很容易被干扰输出关键点位置出现偏移。2020年前后的检测器在通用目标上已经相当成熟但对密集小尺度人体、严重遮挡场景仍然力不从心。你可以想象一下一张街拍照片里十几个行人相互交错检测框彼此重叠Top-Down方法光是框的IoU稳定性就需要大量调参。另外还有计算效率的问题。图像里有N个人Top-Down就要跑N次单人姿态网络算力开销随人数近似线性增长。哪怕加上了人框区域裁剪、缩放、batch推理等优化手段帧率也依然受人数上限影响明显。对于实时要求的场景这个短板非常致命。2.2 自底向上的误差传导完全换了一个方向Bottom-Up的处理顺序恰恰反过来。网络先对整张原始图输出各自关键点位置的热图heatmap这些热图上每个通道对应一个关键点类别比如左肩、右肘、左髋然后再通过配套的分组模块把不同通道的峰值点关联成一条条完整的人体骨架。由于全程只做一次前向计算量对人数不敏感天然适合人群密度高的场景。但误差也换了一个形态它不是漏掉“人框”而是错判“组合关系”。比如两个人挨得很近网络把A的左手肘和B的左手腕拼到了同一个人身上就会产生虚假骨架。分组错误是这条路线最典型的错误模式也是最让人头疼的问题因为它的表现不是“检测不到”而是“看起来顺理成章但实际拼错了人”。这类错误的隐蔽性比Top-Down的漏检棘手得多。在实际业务里漏检很好向客户解释但“两根手臂来源于不同的人却拼在一起”的骨架常常带来很多麻烦。下面这张表总结了我个人对两条路线差异的理解对比维度Top-Down自顶向下Bottom-Up自底向上基本流程先检测人框再单人姿态估计先检测所有关键点再分组对人数敏感性高延迟随人数上升低一次前向延迟稳定主要误差模式人框漏检、框裁剪偏差关键点错分组、跨人拼接单人高精度场景优势明显精度上限略低密集人群场景命中率下降严重稳定性较好计算开销与人数线性相关基本恒定2.3 两条路线的共性基础关键点热图回归有一点需要先说明无论Top-Down还是Bottom-Up在2020年前后的主流实现里关键点位置的回归方式都趋于统一都采用“热图回归”而不是直接回归坐标。网络最后输出一个W×H×C的特征图C代表关键点类别数每个空间位置的值表示该位置出现某类关键点的置信度。训练时把每个真实关键点投影成一个小的二维高斯分布让网络去拟合这个高斯峰。这种方式比直接回归坐标更容易收敛因为空间泛化更平滑梯度更容易传导。理解了热图回归再回头看Bottom-Up就会发现问题聚焦得很清晰网络要做好的不只是输出峰值的精度还要让不同关键点类别之间的特征在分组维度上具备可分性。这是后续所有分组机制设计的出发点也是整篇综述Part3真正的技术主线。3. Bottom-Up的关键步骤拆解从“一堆点”到“一条骨架”3.1 关键点候选的提取和后处理在拿到网络输出的热图之后第一步是从每个通道中提取候选关键点。常规操作是找局部最大值遍历热图把值大于周围邻域且大于某个置信度阈值的空间位置视为一个候选峰值。这一步等价于一个非极大值抑制NMS只是不需要像通用目标检测那样计算IoU直接在热图空间里做局部窗口比较就行。实际操作中有几个细节经常被忽略。第一个是热图的下采样倍数。如果网络输出特征图是输入图的1/4大小那么热图上的一个像素偏移到原图就变成了4像素误差这个误差在关键点定位上属于系统性偏差不可忽视。第二个细节是热图分辨率与感受野的平衡。分辨率越高定位越精细但显存开销和计算量同步上涨分辨率太低小组别的峰值很容易被平滑掉。第三个细节是阈值的选择。阈值过高会漏掉低置信度但真实存在的关键点阈值太低又会引入大量噪声候选增加后面分组匹配的负担。在这里分享一个我自己常用的后处理惯用方法在热图峰值周围做一个基于高斯加权的位置微调把峰值坐标按置信度做亚像素细化。具体做法是以峰值点为圆心取半径R内的热图值作为权重加权平均得到更精确的位置。这样做可以显著缓解下采样带来的误差也不用额外增加网络计算量性价比很高。3.2 分组的三类判定依据候选关键点提取完之后最关键的就是分组。分组本质上是在做“哪些点属于同一个人”的二部图匹配或聚类。2020年之前的技术路线基本围绕三种判定依据展开空间距离、肢体连接向量、嵌入特征距离。这里我用生活化的比喻帮助理解假设你在一个热闹的广场上拍了一张照片要想确认哪些手臂和腿属于同一个人你会怎么做第一种办法是看距离——靠得近的器官大概率属于同一个人但人群一挤这个假设就不成立了第二种办法是看衣物和肢体朝向——如果小臂和大臂之间的连接看起来自然方向一致就倾向于认为它们是同一人的第三种办法是给每个人发一个“编号”所有编号相同的部位属于同一个人。三种方法各有各的局限但组合起来就会稳健很多。空间距离分组是最朴素的方法把距离最近的关键点连接成骨架。优点是实现简单缺点是一旦二人距离很近错分组率极高。肢体连接向量则更进一步不仅看距离还看连接方向是否与肢体应有的朝向匹配。这类算法在密集场景下的表现要明显优于纯距离方法。嵌入特征距离是当时较新的思路训练时让同一个人的所有关键点共享相近的嵌入向量不同人的关键点嵌入向量距离拉远分组问题就转化为聚类问题。这种方法自由度较大能适应不同肢体形态变化。3.3 分组问题的数学本质匹配与聚类把分组映射成数学问题可以分为两类一类是图匹配另一类是聚类。图匹配的思路是构建一个图节点是关键点候选边的权重由连接分数决定然后求解最优匹配使得总连接分数最大。经典实现里常用贪心算法或匈牙利算法近似求解。聚类思路则完全换了一种做法通过优化损失函数让网络直接输出关键点所属的“人物嵌入标签”然后在嵌入空间中做聚类同一个聚类里的关键点被视为同一个人。这里的难点在于聚类数量是动态的、随图像内容变化的不能预设固定类别数。这也是为什么嵌入向量方法的训练目标通常设计成“拉近属于同一人的特征、推开不同人的特征”而不是直接预测类别ID。在综述Part3里作者花了很大篇幅归纳这些分组策略各自的数学形式和适用条件我的理解是这段内容的真正价值不是罗列方法而是为后续研究者提供一个重要视角分组精度和关键点检测精度同等重要甚至决定了整个系统的上限。4. 分组机制的演进主线PAF、关联嵌入与中心点方案4.1 部件亲和场PAF用方向向量编码肢体连接要谈Bottom-Up绕不开部件亲和场Part Affinity FieldsPAF这一经典方案。PAF的核心想法是对每个肢体连接比如左肩-左肘在网络输出的特征图上额外预测一个二维向量场向量方向从肢体一端指向另一端并且只在肢体区域内有值。这样给定一个关键点和另一个候选关键点时可以沿两者连线对向量场做线积分积分值越高说明连线方向与肢体方向越一致两者属于同一个人的概率就越大。实际使用中PAF与距离信息配合再通过匈牙利算法或贪心策略做二分图匹配。它的高光时刻在于多人场景下的鲁棒性即使两个关键点距离很近只要它们之间的方向向量与真实肢体不一致积分分数就会下降从而有效避免错分组。2019年前后的许多工程系统仍在使用基于PAF的方法可见这套思想的持久性。PAF当然也有弱点。它只对单段肢体连接建模对于被遮挡的关键点如果连线上缺少有效的向量场响应积分值就会偏低。此外在多人肢体交叉密集的角落向量场之间会互相干扰匹配容易出现歧义。解决思路通常是增加更大的感受野让网络在更宏观的上下文里判断肢体方向或者引入注意力机制强调可见部分。4.2 关联嵌入Associative Embedding给关键点发“人物编号”如果说PAF是在“肢体”上做文章关联嵌入Associative Embedding就是把问题直接转换为“给每个人分配一个编号”。该方案在训练时增加一个嵌入分支输出每个关键点的嵌入向量目标——同一人的关键点嵌入向量应相互靠近不同人的应相互疏远。推理时先用聚类算法如简单的贪心分组把嵌入距离近的关键点聚成一组一组对应一个人。这种方法的优势在于它的分组信号来自全局语义而不是局部肢体方向因此对遮挡和肢体交叉的容忍度更高。在多人状态下如果嵌入角度区分度足够分组质量往往优于单纯的PAF。但在训练上对数据的均衡性和难例挖掘要求较高。实际经验里嵌入向量很容易陷入“既不分人、也不分部位”的次优解需要设计比较精细的拉近-推开损失权重。我在复现这类方法时的一个发现是嵌入向量的分组效果对关键点类别之间的特征分布非常敏感。如果训练数据里某些关节类别很少出现网络就容易把这几个类别的嵌入放到一个统一的区域导致分组时出现系统性串组。后来我采用了类别均衡采样的训练策略情况才明显好转。这是很多论文里不会细写但你一定会遇到的工程问题。4.3 中心点/根节点方案先找人的“锚”再聚关键点2020年前后另一种思路也逐渐成熟先预测图像中每个人的中心点或根节点位置然后回归出每个关键点相对于中心点的偏移量。这类方法本质上把多人姿态估计转换为一种“基于锚点的目标检测”问题。因为中心点天然是按人区分的只要中心点不重叠分组就基本稳定。方案的优势是计算流程简洁一组关键点和一个中心点共享同一个特征金字塔输出关键点通过偏移量被“拉”到中心点名下不需要额外的匹配或聚类步骤。在密集但中心点可分的场景里速度和精度都比较均衡。缺点也很明显如果图像中两个目标中心点很近比如一个小孩被大人抱着锚点重叠关键点归属就容易混乱。我的建议是如果业务场景是“人员密度高但人物中心可分离”中心点方案可以优先尝试因为工程实现和训练成本相对最低。至于人物深度重叠的情况光靠中心点很难根治还是要回到特征层面去解决。4.4 2020年前后方法对比为了更好说明三类机制在不同维度上的表现差异我根据一些公开评测的归纳和自身实践整理了下表机制类型主要判定信号训练难度密集场景鲁棒性工程部署友好度PAF肢体亲和场局部肢体方向向量中等较高高关联嵌入全局嵌入特征距离较高高中中心点/偏移量人锚点偏移回归中等中高这张表只能说明大致趋势。实际选型时还需要结合数据类型和硬件平台来做权衡我在第五部分会再展开讲。5. 数据集与指标评价的细节比想象中影响更大5.1 COCO、MPII与CrowdPose三种场景的难度分野在2020年那个时间点圈内最常用的人体姿态估计评测集主要是COCO、MPII和CrowdPose。很多人以为它们只是规模不同实际上它们考察的能力差异非常大很容易让人产生“我的模型在这边刷高了、换个场景就不行”的困惑。COCO数据集包含17个关键点定义图像来源广泛人物尺度差异大但其中相当一部分图像里人数其实不多。它更考验模型在通用场景下的均衡表现。MPII数据集采用16个关键点定义主要来自日常活动图片同样存在不少单人图像。CrowdPose则专门收集密集人群场景平均每张图人数远超COCO遮挡情况也更极端。一个模型如果只在COCO上评测分数高直接拿到CrowdPose上表现往往会明显缩水。这三类数据对应到实际业务就是三种完全不同的挑战通用安防摄像头、体育动作分析、商场或车站等高流量人群密度场景。我个人做项目时的经验是评测数据的选择必须和业务场景严格对应否则评测分数再漂亮也说明不了问题。你拿着COCO指标去给客户展示密集场景的效果往往是不太合适的。5.2 OKS、mAP与PCK的计算细节接下来聊聊指标。COCO官方的关键点评估采用OKSObject Keypoint Similarity即物体关键点相似度。它的计算方式是对每个关键点先计算预测位置与真实位置之间的欧氏距离再除以该目标尺度的归一化因子最后经过一个高斯核变换得到一个0到1之间的相似度分数。公式里的分母是2倍的σ的平方σ按关键点类型做归一化处理。mAP的计算是先把所有预测按置信度排序从小到大设定不同的阈值在每个阈值下计算Average Precision最后对所有阈值取平均。因此OKS对预测的“排序质量”相当敏感如果你的模型整体置信度校准不准就算少数关键点定位很准mAP也可能不高。PCKPercentage of Correct Keypoints则更简单直接它判断预测点与真实点的距离是否小于一个与躯干尺寸成比例的阈值更偏向“局部命中率”。我见过不少团队只关注mAP而忽略置信度校准结果在真实部署时发现高置信度的结果反而不靠谱。一个值得尝试的调整是在验证集上对每个关键点类别分别统计OKS的分布重新调整类别间的置信度权重这在多类别关键点共存的系统里很有效。5.3 数据标注质量对Bottom-Up的放大效应这里必须提一个Bottom-Up特有的大坑标注质量的影响比Top-Down更被放大。因为分组是跨关键点进行的如果训练集里同一个人的左肘和左腕标注尺度相对正确但跨人的关键点存在错标漏标网络在学习嵌入或亲和场时就会被注入大量矛盾信号。加上Bottom-Up本身不做“框内裁剪”网络必须学会全局建模标注不一致造成的梯度噪声几乎无法用后处理弥补。解决路径主要有两条一是人工核查和标注规范统一显著提高遮挡区域关键点的标注一致性二是在损失函数里给可见性高的关键点更高权重让网络优先学习干净样本。这些都是在复现论文指标时容易忽略、但真实效果提升明显的长期优化方向。6. 复现与部署的经验几个绕不开的工程细节6.1 热图分辨率与感受野的权衡决定一个Bottom-Up模型精度的两个最重要因素就是热图分辨率和网络感受野。热图分辨率高关键点定位误差小网络感受野大分组判断才能看到足够多的上下文。但在显存有限的条件下两者经常冲突。2020年前后的主流框架通常采用Stride 4的编码器-解码器结构输入尺寸在384×288到512×512之间。我在实际比较中发现如果场景以中近距离人体为主512×512输入配上较大的特征金字塔结构已经够用如果画面里经常出现远距离小目标与其一味抬输入分辨率不如增加感受野。简单说我是把更多的计算资源花费在放大感受野上而不仅仅追求高分辨率。感受野的扩大可以通过叠加更多下采样-上采样块实现也可以在骨干网络中使用扩张卷积替代部分下采样层。不过要注意无脑加深网络会导致训练收敛变慢需要配合更长的预热阶段和学习率调度。6.2 后处理与阈值如何配置分组环节通常有大量超参数最常见的包括关键点置信度阈值、连接分数阈值、NMS窗口大小、二部图匹配的候选数量上限。默认配置往往能跑通流程但很难跑出好效果。我建议的调试顺序是先固定关键点阈值把连接分数阈值放宽观察漏检率的变化再反过来把阈值收紧观察误检率的变化最后找到两种失误率的平衡点。理想的做法是每个关键点类别单独设置阈值因为肩、髋这类大部位和手指、脚尖这类小部位的置信度分布差别很大。在多人场景里小部位类别的峰值通常更弱阈值如果统一设太高会丢弃大量有效关键点。另外要特别留意重复连接的问题。二部图匹配过程中同一个关键点可能被多次匹配进不同的骨架你的后处理里必须有一个“每条边最多只属于一条骨架”的约束逻辑。标准的贪心匹配算法会自动处理这一点但如果你自己实现了简化版匹配这一步很容易漏掉导致同一只手同时出现在两个人身上的诡异结果。6.3 常见翻车场景与改进手段这里分享几个实践中典型的翻车场景。第一个是人物互相遮挡时两人共用某个关键点区域热图会出现双峰融合。这种情况下靠单纯提高阈值是没法解决的我一般会在训练中引入“可见性掩码”作为额外输入通道让网络学习区分被遮挡部位的位置。第二个是小尺度人体。由于下采样后特征几乎消失小目标关键点热图容易整体被背景抑制。有效做法是引入多层特征融合把浅层高分辨率特征与深层语义特征做拼接再进分组头。第三个是上下半身类别不均衡。训练集中下半身关键位置的标注质量通常劣于上半身网络在复杂背景下容易漏掉髋、膝、踝。简单有效的方法是给这些类别更高的损失权重并适当扩增下半身样本。6.4 硬件部署中的延迟与精度平衡如果你要把Bottom-Up模型部署到边缘设备上要考虑的就更多了。2020年的很多预训练模型体积偏大前向时间不可控。我的几条经验是优先考虑对整张图只做一次推理的架构避免任何“检测到人后再局部精修”的串联流程其次分组后处理必须用高效实现比如在GPU上写基于矩阵运算的匹配而不是在CPU上写for循环最后对特征图做半精度推理往往能带来相当可观的端到端加速而精度损失一般可以控制在1%以内。有些人以为Bottom-Up天然就比Top-Down快实际不一定。如果分组后处理写得差耗时可能反而更高。我在某个项目里把PAF的积分匹配从逐对计算改成矩阵批量运算之后单帧延迟直接降了40%。这些工程层次的优化是综述里完全不会涉及但真实系统必不可少的环节。7. 2020年之后的走向两条路线开始互相融合综述Part3的价值不只是回顾它也为后来的人体姿态估计研究提供了一条明确的路线图。2020年之后的很多工作开始吸收Bottom-Up和Top-Down双方的技术优势比如用Top-Down的检测头辅助生成人物的全局上下文再结合Bottom-Up的关键点检测结果做最终精修二者不再是互斥选项而是可以互相打磨的组件。在实际项目中我也尝试过混合策略先用一个轻量级的Bottom-Up模型做全图密集检测筛出可能存在人物的区域再对这些局部区域用一个高精度的单人模型做姿态细化。这种串联方式在帧率和精度上都有不错表现。尤其是在人数波动很大的视频流里混合策略能有效避免“人数一多延迟就崩”的尴尬。如果让我给一个明确的选型建议场景里人数少、单人特写多优先Top-Down人数多且需要稳定帧率优先Bottom-Up人数波动大但硬件资源充裕可以试试混合方案。2020年的这篇综述里作者把Bottom-Up方法单独成章其实也是在提醒从业者——没有一个绝对的胜者只有匹配真实场景的取舍。这种取舍思路直到今天依然适用。
