153、DAT模型：可变形注意力Transformer在视频超分中的动态特征对齐与实现去年秋天帮一个师弟调视频超分的代码，他用的还是EDVR那套光流对齐，结果在快速运动的场景下，光流估计出来的运动场全是毛刺，特征对齐之后反而引入了伪影。我盯着TensorBoard里那几条锯齿状的PSNR曲线，突然意识到一个问题：光流是显式的运动建模，但视频超分需要的其实是隐式的、自适应的特征重排——这恰恰是可变形卷积和注意力机制的结合点。DAT（Deformable Attention Transformer）就是从这个痛点出发的。为什么光流对齐在视频超分里不够用先说说那个让我头疼的案例。一个1080P的赛车视频，下采样到240P做超分，EDVR用SPyNet估计光流，结果在赛车转弯时，连续几帧的纹理出现了错位。原因很简单：光流假设像素在时间上是线性运动的，但实际场景中，遮挡、光照变化、非刚性形变都会破坏这个假设。更致命的是，光流估计本身就是一个病态问题，误差会逐帧累积。DAT的思路很直接：不要显式估计运动，而是让模型自己学会在特征空间里做动态采样。它把可变形卷积的“偏移量预测”和Transformer的“注意力权重”融合在一起，每个像素点不是去固定的网格位置找对应，而是根据内容自适应地选择采样位置。可变形注意力：把卷积的“偏移”塞进Transformer的“查询”DAT的核心模块叫Deformable Attention，它的数学形式其实不复杂。标准的Transformer注意力是计算所有位置之间的相似度，复杂度是O(
153、DAT模型：可变形注意力Transformer在视频超分中的动态特征对齐与实现去年秋天帮一个师弟调视频超分的代码，他用的还是EDVR那套光流对齐，结果在快速运动的场景下，光流估计出来的运动场全是毛刺，特征对齐之后反而引入了伪影。我盯着TensorBoard里那几条锯齿状的PSNR曲线，突然意识到一个问题：光流是显式的运动建模，但视频超分需要的其实是隐式的、自适应的特征重排——这恰恰是可变形卷积和注意力机制的结合点。DAT（Deformable Attention Transformer）就是从这个痛点出发的。为什么光流对齐在视频超分里不够用先说说那个让我头疼的案例。一个1080P的赛车视频，下采样到240P做超分，EDVR用SPyNet估计光流，结果在赛车转弯时，连续几帧的纹理出现了错位。原因很简单：光流假设像素在时间上是线性运动的，但实际场景中，遮挡、光照变化、非刚性形变都会破坏这个假设。更致命的是，光流估计本身就是一个病态问题，误差会逐帧累积。DAT的思路很直接：不要显式估计运动，而是让模型自己学会在特征空间里做动态采样。它把可变形卷积的“偏移量预测”和Transformer的“注意力权重”融合在一起，每个像素点不是去固定的网格位置找对应，而是根据内容自适应地选择采样位置。可变形注意力：把卷积的“偏移”塞进Transformer的“查询”DAT的核心模块叫Deformable Attention，它的数学形式其实不复杂。标准的Transformer注意力是计算所有位置之间的相似度，复杂度是O(
