10-主角锁定与focus决策

主角锁定与 focus 决策从底图相似度到跟拍开关本文讲透一件事检测与跟踪给出的是「一堆带 track_id 的人」成片却要回答「谁是用户本人、要不要开镜头、要不要糊路人」。本项目把答案落在两层先按底图相似度锁定hero_byte_track_id再按是否单人/双人、峰值人数等做 focus 决策。1. 问题定义跟踪不等于认人ByteTrack 只保证「前后帧尽量是同一个人」不保证「这个人就是上传底图的那个人」。没有主角锁定时会出现镜头跟了路人路人虚化误伤本人双人合影时推镜头却推到背景。交付物必须是一个稳定的主角轨迹号以及基于它的效果开关。图底图 embedding → 各轨迹逐帧相似度 → 按 track_id 聚合 → 选出 hero。2. 底图如何变成可比向量用户提供一张本人照片thumb。流程在底图上检出脸必要时再检测或整图兜底对齐到 112×112ArcFace 得到 embedding并做 L2 归一化。之后视频里每一张候选脸也走同一套对齐与 embedding再与底图做余弦相似度。业务硬门常用相似度阈值 0.32低于该门的单次观测一般不参与「像主角」的硬判定轨迹级聚合还会看均值、最大值、高分占比。3. 观测如何挂到轨迹上扫描阶段每隔detect_stride帧做一次人体检测与跟踪更新。对活跃轨迹取该轨迹当前人体框在人体 ROI 内检脸有底图时对 ROI 内各脸算相似度取最高者作为本帧观测写入该track_id的历史脸框、人体框、sim。没有底图时无法用相似度认人只能退化为「出现次数最多 / 最显眼」一类启发式——产品上通常要求上传底图。4. 轨迹级打分不只看单帧最高分单帧相似度会抖侧脸、遮挡、曝光都会让某一帧掉到 0.2 以下下一帧又回到 0.5。锁定应按轨迹统计而不是「随便哪一帧过了 0.32 就锁死」。本项目对每条轨迹维护大致如下统计量含义sim_sum / sim_count有效观测的平均相似度max_sim历史最高相似度sim_hi_count达到「像主角」门槛的次数综合分直觉thumb_core ≈ 0.12×均值 0.58×最大值 0.30×高分占比再乘上「画面显著性」prominence ≈ 0.55×相对面积 0.45×靠近画面中心最终score ≈ 0.72×thumb_core 0.28×prominence图相似度核心与画面显著性加权远处偶发高分路人不易压过近景本人。数值例子轨迹 A均值 0.41最大 0.55高分占比 0.7prominence 0.8thumb_core ≈ 0.12×0.41 0.58×0.55 0.30×0.7 ≈ 0.56score ≈ 0.72×0.56 0.28×0.8 ≈ 0.63轨迹 B某一帧闪到 0.50但均值 0.22、高分占比 0.1、人在角落 prominence 0.2 → 综合分远低于 A不会抢走主角。硬门仍在若均值与最大值都低于 0.32该轨迹直接判不合格。5. 何时写下 hero_byte_track_id在线锁定逻辑有底图时大致两档优先选「平均相似度 ≥ 0.32」且均值最高的轨迹若没有再选「历史最大相似度 ≥ 0.32」且最大分最高的轨迹。锁上之后记录锁定帧、锁定脸框后续跟拍点列、路人排除都认这个 track_id同 ID 短暂丢检时靠跟踪缓冲续命而不是立刻换人。if(avg0.32f(!found||avgbest_avg)){foundtrue;best_avgavg;best_idtrack_id;}// 若仍未找到再按 max_sim 0.32 兜底无底图时退化为选「有效观测次数最多」的轨迹并把确认相似度记为 0——这只是工程兜底不是可靠认人。6. 锁定失败长什么样典型失败现象常见原因全片无 hero底图不是本人、侧脸为主、阈值过高、人脸几乎不可见锁错人亲友长相接近、底图质量差、真正本人出镜过短中途换 ID跟踪 ID switch或锁定过早、后续更强证据被忽略调试时优先看底图 embedding 是否有效、各轨迹的 avg/max/n/hi、锁定帧的脸是否贴住本人。7. focus 决策锁定之后开什么效果锁定只回答「谁」。成片还要回答「怎么拍」。本项目在单片处理时用一组布尔量刻画场景符号含义has_hero已锁定主角content_has_strangers存在可虚化的非主角脸轨迹duo_scene有主角且有路人solo_hero有主角且无明显路人focus_eligible设备开启 focus且峰值人数达到 limitapply_stranger_blur双人场景且设备允许糊路人图先看是否有 hero再分单人/双人最后叠加设备开关与人数门槛。决策直觉没锁定主角 → 通常不做跟拍/糊路人避免跟错单人主角 → 适合 lens/crop/push-in不必糊人双人主角路人→ 可跟拍主角并按开关启动椭圆虚化focus_eligible还要求「够多人/够显眼」才开聚焦避免空镜乱推镜头。设备侧还可独立配置跟拍模式lens/crop、是否 push-in、是否允许路人虚化、虚化半径等。决策日志里会打出 peakCount、hasHero、duoScene、heroTrackId、thumbBestSim便于复盘「为什么这片没开 focus」。8. 与下游模块的契约锁定成功后下游只应消费「已确认的主角轨迹」跟拍从 hero 的脸/人体历史生成平滑中心点列路人虚化凡 track_id 等于 hero或相似度/IoU 像主角的观测一律排除质量分里的「人物项」常以是否锁定且相似度够门为满分条件之一。契约破坏的症状很典型圆镜跟路人、本人被糊、双人片却按单人推进。排查顺序应是底图 → 轨迹 sim 统计 → hero_id → 决策布尔量而不是先怀疑编码器。9. 参数与失败模式旋钮调高调低相似度门槛 0.32更不易锁错易锁不上更易锁上易认错亲友均值权重 vs 最大值权重更稳、更慢锁更快锁、更怕单帧噪声prominence 权重偏好画面中央大人远处高分本人更难胜出focus limit更少片开跟拍更多片开跟拍空镜风险升常见故障底图多人脸却未指定主脸 → embedding 可能不是用户只信单帧 max_sim → 路人侧脸偶然像抢锁锁定过晚 → 片头数秒无轨迹点跟拍起步空窗ID switch 后仍死守旧 ID → 镜头停在空气里。