158、VSRT：视频超分中的Transformer架构设计与长程依赖建模

158、VSRT：视频超分中的Transformer架构设计与长程依赖建模一个让我熬夜三天的bug去年做视频超分项目，跑VSRT（Video Super-Resolution Transformer）的时候，遇到一个诡异的问题：模型在静态背景上表现惊艳，一到快速运动的场景就崩——画面出现严重的闪烁和伪影，像老电视信号不好那种雪花感。我盯着TensorBoard上的PSNR曲线，发现验证集在某个epoch后突然断崖式下跌，而训练集还在缓慢上升。排查了两天，最后发现是时间注意力模块的窗口大小设成了8帧，但视频中运动物体的位移超过了这个窗口的感知范围。模型只能看到局部运动，无法建立全局的时间依赖，导致帧间一致性崩塌。这个教训让我深刻理解了长程依赖建模在视频超分中的核心地位——不是简单的“堆更多Transformer块”就能解决的。视频超分为什么需要Transformer传统视频超分方法，比如EDVR、BasicVSR，依赖光流对齐和时序融合。光流估计本身就有误差，尤其在遮挡、大运动、模糊区域，误差会逐帧累积。你辛辛苦苦对齐了相邻帧，结果光流错了，超分出来的细节全是错的。Transformer的自注意力机制天然适合解决这个问题：它不需要显式估计光流，而是通过全局注意力直接建立帧间像素的对应关系。VSRT的核心思想就是把视频超分问题转化为一个时空序列建模问题，用Transformer的注意力机制替代传统的光流对齐+时序融合pipeline。