【VR】 A CLIP-Hitchhiker’s Guide to Long Video Retrieval

note本文提出了一种基于帧相关性加权的均值聚合Weighted-Mean Pooling方案核心思路是对CLIP提取的每一帧特征分配权重再加权求和得到视频级表征而非均匀平均。即不训练复杂视频编码器而是让文本 Query 从长视频中挑出相关帧再加权聚合 CLIP 帧特征完成文本搜视频。文本 Query 决定长视频里哪些帧更重要再用这些关键帧组成视频表示。它比较了三种帧打分方式Query-scoring直接用文本和每帧的 CLIP 相似度打分不新增可学习参数。Self-attention scoring用 Transformer 根据视频内部信息给帧打分。Joint-attention scoring文本和视频帧一起进入 Transformer 打分。本文的核心贡献是提出了一种极简但高效的CLIP长视频时序聚合方案仅通过单参数的查询加权均值就全面超越了此前所有复杂的时序建模方法在四个长视频基准上达到SOTA。文章目录note一、研究动机二、论文核心1. 三种评分方法2. 关键设计特性三、实验结果1. 长视频检索SOTA结果1MSR-VTT 1k-A测试集2ActivityNet Captions Condensed MoviesCMD2. 长视频分类Charades数据集3. 消融实验核心结论四、结果分析与讨论一、研究动机A CLIP-Hitchhiker’s Guide to Long Video Retrieval2022当前视觉-语言预训练模型在图像分类、短图像检索等任务上表现优异但在长视频理解这类需要高阶认知推理的任务上进展缓慢核心痛点集中在三点视频-文本数据规模不足大规模视频-文本配对数据的量级远低于图像-文本数据CLIP使用了4亿对图像-文本而公开视频-文本数据集仅千万级导致端到端视频预训练模型的性能难以匹敌基于CLIP的「搭便车」方案。现有时序聚合方法失效此前将CLIP适配到视频任务的工作尝试在CLIP帧特征之上添加自注意力、交叉Transformer等复杂时序建模层但性能往往和最简单的帧特征均值池化mean-pooling相当甚至更差说明复杂时序建模在长视频场景下并未发挥预期作用。长视频的特性带来的挑战长视频数分钟及以上中存在大量冗余帧关键信息往往只持续几秒均匀均值池化会稀释关键信息显然不是最优的聚合方式。因此本文的核心目标就是为CLIP适配长视频检索任务设计简单有效的时序聚合方案同时提供一个更强的基线替代原有的均值池化基线。二、论文核心本文提出了一种基于帧相关性加权的均值聚合Weighted-Mean Pooling方案核心思路是对CLIP提取的每一帧特征分配权重再加权求和得到视频级表征而非均匀平均。论文共探索了三种权重帧相关性分数的计算方式1. 三种评分方法如图评分方法实现方式特点Query-scoring查询评分无参数直接计算每一帧特征与文本查询的余弦相似度作为原始分数再通过带温度系数τ的Softmax归一化得到权重w k e s k / τ ∑ j e s j / τ w_k\frac{e^{s_k/\tau}}{\sum_j e^{s_j/\tau}}wk​∑j​esj​/τesk​/τ​其中s k s_ksk​是第k帧与查询的相似度。无需额外参数可零样本使用检索复杂度随查询数线性增长但实现简单性能最优。Temporal Self-Attention时序自注意力评分将帧特征输入单/多层Transformer自注意力层输出每个帧的标量分数不依赖查询。分数与查询无关视频表征可离线存储检索复杂度为O(1)适合不需要查询引导的场景。Joint Attention联合注意力评分在自注意力层基础上将文本查询嵌入拼接到帧序列末尾同时做自注意力和跨模态注意力输出帧分数。分数受查询引导语义相关性更强但检索复杂度更高。2. 关键设计特性强约束性所有方法最终都仅通过线性加权组合原始CLIP帧特征没有修改特征本身这种约束避免了复杂时序模型在小样本长视频数据上过拟合的风险。灵活性通过温度系数τ可以平滑调节权重分布τ→0时退化为取最相关单帧τ→∞时退化为均匀均值池化实践中τ在0.05~0.15区间效果最好。兼容性该方案可直接迁移到长视频分类任务只需将分类标签视为文本查询即可。三、实验结果论文在三个长视频检索基准和一个长视频分类基准上进行了验证使用CLIP ViT-B/16作为基础编码器端到端微调测试时采样120帧/视频。1. 长视频检索SOTA结果看 Condensed Movies 和 ActivityNetQuery-scoring 明显超过 CLIP4Clip 的 mean/Transformer 聚合证明对长视频有效1MSR-VTT 1k-A测试集方法聚合方式参数量R1↑R5↑R10↑MnR↓Clip4clip (seqTransf)时序Transformer4M44.571.481.612.2CAMoESE注意力-44.672.681.812.2Clip2VideoTDBTAB19M45.672.681.714.6Ours (Query-scoring)查询加权均值147.774.182.911.52ActivityNet Captions Condensed MoviesCMD数据集方法R1↑R5↑R10↑MnR↓ActivityNetClip4clip (mean)40.572.4-7.4ActivityNetOurs (Q-score)44.074.986.15.8CMDClip4clip (mean)24.448.258.246.2CMDOurs (Q-score)27.052.361.241.22. 长视频分类Charades数据集方法聚合方式帧数mAP↑ActionCLIP复杂时序建模多模板多视图32×10×344.6Clip4clip (seqTransf)时序Transformer3232.0CLIP (mean)均值池化3233.0Ours (Q-score)查询加权均值3244.9CLIP (mean) 零样本均值池化3217.5Ours (Q-score) 零样本查询加权均值3221.13. 消融实验核心结论评分方法对比三种评分方法均显著优于均值池化基线其中Query-scoring整体性能最优尤其在查询语义明确、对应局部片段的数据集如CMD上提升最大而ActivityNet由于是长段落密集描述Self-Attention评分效果更好因为不需要查询引导就能过滤冗余帧。聚合方式对比软加权Query-scoring在微调场景下的性能显著优于硬Top-K聚合平滑的权重分配更有利于训练收敛对帧特征加权后求均值的效果远好于对帧相似度logits直接平均的效果。帧数与温度系数的影响测试帧数越多Query-scoring相对均值池化的优势越明显符合长视频中关键信息稀疏的特性τ在0.05~0.15区间效果最优过小会导致梯度仅来自单帧易引入噪声过大则退化为均值池化无法突出关键信息。看抽帧数和温度系数的影响工程上约 τ0.050.15 较好帧数增加到约 1 FPS 后收益开始减弱四、结果分析与讨论论文进一步解释了加权均值方案有效性的深层原因长视频数据不足限制了复杂时序建模随着下游训练数据规模增大复杂时序建模方法的相对优势会上升说明当前复杂时序方法失效的核心原因是长视频-文本配对数据不足不足以支撑大模型训练而加权均值的强约束天然抗过拟合。均值池化后的特征位于新的嵌入空间通过线性分类器和MLP可以轻松区分单帧特征和16帧均值特征零样本下准确率89%微调后达98%说明多帧均值并没有映射到语义错误的空间反而编码了新的多帧联合信息这也是CLIP本身表征能力强的体现。查询评分能优化单帧表征学习即使在单帧检索设置下使用Query-scoring微调后的模型性能也显著优于均值池化微调的模型说明训练过程中加权机制会让对比损失更多关注语义相关的帧反向优化了CLIP的单帧/帧级表征质量。帧分数具有语义可解释性可视化结果显示高权重帧确实对应与查询语义匹配的内容低权重帧多为冗余、无信息的画面证明评分机制确实捕捉到了帧的重要性差异。