为啥说大的因为视频数据太特么大了。一张 224x224 的图算起来轻松一段 10 秒的 1080p 视频每秒 30 帧那就是 300 张图像素量是单张图的 300 倍。处理视频本质上是在处理一个三维信号——高度、宽度、时间。这个额外的时间维度既是视频的宝藏包含了丰富的运动信息也是算力的噩梦。视频理解最早期的思路特别朴素把视频当成一堆独立的图像每帧分别过 2D 分类器然后对结果做投票或者平均。这就是Frame-based 视频分类简单、有 baselines但完全忽略了帧与帧之间的时序关系。你要是做一个跑步和走路的分类单帧看有时候人都是同一个姿势根本分不出来必须靠前后帧的运动速度来判断。所以大家开始做3D 卷积。核心就是把 2D 卷积的 kernel 扩展一个维度变成 3D同时对空间和时间进行卷积。C3D是早期代表作用 3x3x3 的卷积核同时提取空间和时间特征在 UCF101 上比 2D 方法有了明显提升。但 C3D 的参数量巨大计算量更是天文数字——一个 3D 卷积层的 FLOPs 是等效 2D 卷积层的 3 倍以上而且随着网络加深这个差距呈指数级放大。你在 ResNet-50 上做 3D 卷积的版本参数量轻松突破 1 亿训练一个模型需要几百块 GPU 跑好几个星期。后来I3DInflated 3D ConvNet提出了一种巧妙的膨胀方法——把在 ImageNet 上预训练好的 2D 卷积核沿着时间维度复制一份并做平均变成 3D 核然后在大规模视频数据集Kinetics上 fine-tune。这样既利用了 ImageNet 的海量预训练知识又适应了视频的时序特性。I3D 在当时的动作识别任务上直接拉开第二名一大截成了那个时代的标准 backbone。但 3D 卷积依然太慢了。于是TSNTemporal Segment Networks和TSMTemporal Shift Module这类方法试图走伪 3D的路线——用 2D 卷积处理空间然后用 shift 操作沿着时间维度做特征置换模拟时序上的信息流动。TSM 的精妙之处在于它不需要额外的参数只是把特征图在通道维度上做一次移位shift就能让网络感知到前后帧的信息。这个操作的 FLOPs 增加几乎为零但效果接近 I3D在当时简直是神来之笔。再后来SlowFast网络出来了FAIR 做的把视频处理分成了两条路一条慢路径以低帧率捕捉空间语义另一条快路径以高帧率捕捉运动变化两者再融合。这设计灵感来源于生物视觉的P 通路和M 通路一个管色彩纹理、一个管运动感知。SlowFast 在 Kinetics-400 上达到了很高的精度推理速度比 I3D 快架构设计也很优雅算得上是 3D 卷积时代的巅峰之作。2021 年之后Video Transformer开始取代 3D CNN 成为视频理解的主流。TimeSformer用自注意力机制分别在空间和时间两个维度上做 attention把 O(T²H²W²) 的复杂度假解耦成了 O(T² H²W²)让 Transformer 处理视频变得可行。VideoMAE则用掩码自编码器的思路只对可见的 patch 做编码、对掩掉的 patch 做重建用极少的计算量学到了很好的视频表示在 Kinetics 上性能碾压了很多全监督的方法。ViViT也是类似的路子把时空注意力拆解在计算效率和精度之间找平衡。但是这个但是太重要了视频理解到现在也没有一个真正的杀手级应用。动作识别这玩意儿实验室里刷 Kinetics 刷得飞起到了真实安防场景一个摔倒检测的精度惨不忍睹——因为真实场景里的摔倒姿态千奇百怪而且一半以上被遮挡了。短视频推荐倒是用到了视频理解但人家用的是很轻量化的模型只做粗粒度的场景和动作类别判断根本不需要 SOTA 的精度。自动驾驶里的行为预测确实需要视频理解但人家的 sensor fusion pipeline 里视频只是其中一路信号还要融合 LiDAR、雷达、高精地图单独的视频模型只需要在嵌入式设备上跑得非常快、非常轻。视频理解的商业化困境在于它解决的任务要么用 2D 图像就能解决个七七八八要么需要极致的精度但算力不允许。卡在一个高不成低不就的位置上。还有一个致命的问题——视频标注成本比图像高一个数量级。图像标注一张几十秒视频标注一个动作需要标注员看完整段视频确定动作的起止帧、标注关键帧、做时序定位。ActivityNet 的标注单价是图像标注的 5-10 倍。所以视频领域的数据集规模远小于图像领域——Kinetics-400 也就 30 万段视频而 ImageNet 有 1400 万张图。这个数据量差距直接限制了视频模型的发展潜力。另一个被严重忽略的问题是视频帧率的标准化。你训练的时候用的是 30 FPS 的 Kinetics部署的时候摄像头可能是 60 FPS 的工业相机也可能是 10 FPS 的监控设备。不同帧率下同一个动作的运动速度快慢完全不同模型直接迁移过去就崩了。所以现在很多工作开始做帧率自适应的训练或者干脆用光流作为运动信息的替代但光流算起来又贵得要死简直是拆东墙补西墙。视频理解的未来方向我个人觉得在以下几个方面第一高效的时空 Token 化。不要把所有帧的所有 patch 都塞进 Transformer你得智能地选择哪些帧重要、哪些 patch 重要用稀疏注意力和可变形采样来降低计算量。第二自监督预训练。视频里有天然的时间顺序和空间对应关系不需要标签就能做很多自监督任务预测被遮挡的帧、判断帧序是否被打乱、做时空对比学习。VideoMAE 已经证明了这条路走得通而且潜力还远未挖尽。第三和语言模型的融合。给视频配文字描述做 Video-Text 对齐这样可以用语言的先验来辅助视频理解这也是当下多模态大模型热潮的一部分。但说句实在话——如果你现在要入视觉识别这个行当我劝你别在视频理解上花太多精力除非你的导师或者公司在这条路上有明确的资源和数据积累。因为视频理解的投入产出比太低了——你要投入的算力、标注成本、工程复杂度都比 2D 任务高一个量级但带来的商业价值在大多数场景下并不匹配。它是个富人游戏只有 Google、Meta、字节跳动这种级别的公司玩得起。六个方向全聊完了。图像分类、目标检测、实例分割、ReID、视觉跟踪、视频理解每个都是一本书的体量我这六篇文章最多只能算是随性版的入门导读 实战吐槽。想真的入行别光看我写的去跑代码、踩坑、看真实场景的脏数据那些才是真正让你成长的东西。
为啥说大的因为视频数据太特么大了。一张 224x224 的图算起来轻松一段 10 秒的 1080p 视频每秒 30 帧那就是 300 张图像素量是单张图的 300 倍。处理视频本质上是在处理一个三维信号——高度、宽度、时间。这个额外的时间维度既是视频的宝藏包含了丰富的运动信息也是算力的噩梦。视频理解最早期的思路特别朴素把视频当成一堆独立的图像每帧分别过 2D 分类器然后对结果做投票或者平均。这就是Frame-based 视频分类简单、有 baselines但完全忽略了帧与帧之间的时序关系。你要是做一个跑步和走路的分类单帧看有时候人都是同一个姿势根本分不出来必须靠前后帧的运动速度来判断。所以大家开始做3D 卷积。核心就是把 2D 卷积的 kernel 扩展一个维度变成 3D同时对空间和时间进行卷积。C3D是早期代表作用 3x3x3 的卷积核同时提取空间和时间特征在 UCF101 上比 2D 方法有了明显提升。但 C3D 的参数量巨大计算量更是天文数字——一个 3D 卷积层的 FLOPs 是等效 2D 卷积层的 3 倍以上而且随着网络加深这个差距呈指数级放大。你在 ResNet-50 上做 3D 卷积的版本参数量轻松突破 1 亿训练一个模型需要几百块 GPU 跑好几个星期。后来I3DInflated 3D ConvNet提出了一种巧妙的膨胀方法——把在 ImageNet 上预训练好的 2D 卷积核沿着时间维度复制一份并做平均变成 3D 核然后在大规模视频数据集Kinetics上 fine-tune。这样既利用了 ImageNet 的海量预训练知识又适应了视频的时序特性。I3D 在当时的动作识别任务上直接拉开第二名一大截成了那个时代的标准 backbone。但 3D 卷积依然太慢了。于是TSNTemporal Segment Networks和TSMTemporal Shift Module这类方法试图走伪 3D的路线——用 2D 卷积处理空间然后用 shift 操作沿着时间维度做特征置换模拟时序上的信息流动。TSM 的精妙之处在于它不需要额外的参数只是把特征图在通道维度上做一次移位shift就能让网络感知到前后帧的信息。这个操作的 FLOPs 增加几乎为零但效果接近 I3D在当时简直是神来之笔。再后来SlowFast网络出来了FAIR 做的把视频处理分成了两条路一条慢路径以低帧率捕捉空间语义另一条快路径以高帧率捕捉运动变化两者再融合。这设计灵感来源于生物视觉的P 通路和M 通路一个管色彩纹理、一个管运动感知。SlowFast 在 Kinetics-400 上达到了很高的精度推理速度比 I3D 快架构设计也很优雅算得上是 3D 卷积时代的巅峰之作。2021 年之后Video Transformer开始取代 3D CNN 成为视频理解的主流。TimeSformer用自注意力机制分别在空间和时间两个维度上做 attention把 O(T²H²W²) 的复杂度假解耦成了 O(T² H²W²)让 Transformer 处理视频变得可行。VideoMAE则用掩码自编码器的思路只对可见的 patch 做编码、对掩掉的 patch 做重建用极少的计算量学到了很好的视频表示在 Kinetics 上性能碾压了很多全监督的方法。ViViT也是类似的路子把时空注意力拆解在计算效率和精度之间找平衡。但是这个但是太重要了视频理解到现在也没有一个真正的杀手级应用。动作识别这玩意儿实验室里刷 Kinetics 刷得飞起到了真实安防场景一个摔倒检测的精度惨不忍睹——因为真实场景里的摔倒姿态千奇百怪而且一半以上被遮挡了。短视频推荐倒是用到了视频理解但人家用的是很轻量化的模型只做粗粒度的场景和动作类别判断根本不需要 SOTA 的精度。自动驾驶里的行为预测确实需要视频理解但人家的 sensor fusion pipeline 里视频只是其中一路信号还要融合 LiDAR、雷达、高精地图单独的视频模型只需要在嵌入式设备上跑得非常快、非常轻。视频理解的商业化困境在于它解决的任务要么用 2D 图像就能解决个七七八八要么需要极致的精度但算力不允许。卡在一个高不成低不就的位置上。还有一个致命的问题——视频标注成本比图像高一个数量级。图像标注一张几十秒视频标注一个动作需要标注员看完整段视频确定动作的起止帧、标注关键帧、做时序定位。ActivityNet 的标注单价是图像标注的 5-10 倍。所以视频领域的数据集规模远小于图像领域——Kinetics-400 也就 30 万段视频而 ImageNet 有 1400 万张图。这个数据量差距直接限制了视频模型的发展潜力。另一个被严重忽略的问题是视频帧率的标准化。你训练的时候用的是 30 FPS 的 Kinetics部署的时候摄像头可能是 60 FPS 的工业相机也可能是 10 FPS 的监控设备。不同帧率下同一个动作的运动速度快慢完全不同模型直接迁移过去就崩了。所以现在很多工作开始做帧率自适应的训练或者干脆用光流作为运动信息的替代但光流算起来又贵得要死简直是拆东墙补西墙。视频理解的未来方向我个人觉得在以下几个方面第一高效的时空 Token 化。不要把所有帧的所有 patch 都塞进 Transformer你得智能地选择哪些帧重要、哪些 patch 重要用稀疏注意力和可变形采样来降低计算量。第二自监督预训练。视频里有天然的时间顺序和空间对应关系不需要标签就能做很多自监督任务预测被遮挡的帧、判断帧序是否被打乱、做时空对比学习。VideoMAE 已经证明了这条路走得通而且潜力还远未挖尽。第三和语言模型的融合。给视频配文字描述做 Video-Text 对齐这样可以用语言的先验来辅助视频理解这也是当下多模态大模型热潮的一部分。但说句实在话——如果你现在要入视觉识别这个行当我劝你别在视频理解上花太多精力除非你的导师或者公司在这条路上有明确的资源和数据积累。因为视频理解的投入产出比太低了——你要投入的算力、标注成本、工程复杂度都比 2D 任务高一个量级但带来的商业价值在大多数场景下并不匹配。它是个富人游戏只有 Google、Meta、字节跳动这种级别的公司玩得起。六个方向全聊完了。图像分类、目标检测、实例分割、ReID、视觉跟踪、视频理解每个都是一本书的体量我这六篇文章最多只能算是随性版的入门导读 实战吐槽。想真的入行别光看我写的去跑代码、踩坑、看真实场景的脏数据那些才是真正让你成长的东西。
