我最近在啃多模态预训练相关的论文正好有一篇绕不开的模型——BLIP。论文标题本身不复杂但很多人初看很容易被一堆散落的细节绕晕。今天不按论文目录刷读法走我把理解BLIP的钥匙拆成三个词CLS、Encode、Decode。只要你把这三个动作串起来整个模型的设计逻辑基本就清晰了。BLIP是典型的视觉语言预训练模型既能做图文匹配、检索这类“理解型”任务又能做图像描述、视觉问答这类“生成型”任务。它最核心的思路是让模型在同一套编码器-解码器骨架里同时把理解能力和生成能力都训练到位而不是像过去很多做法那样要么只做理解要么只做生成。适合谁看如果你正在做多模态方向的研究、复现工作或者想搞清楚CLIP之后的视觉语言模型是怎么演进的这篇拆解能帮你省下不少读源码和看实验的时间。1. BLIP到底在解决什么问题1.1 视觉语言模型的平衡难题在BLIP之前视觉语言预训练的主流思路基本可以分成两类。一类以CLIP为代表走双塔结构两个编码器各管一摊图像和文本分别编码后做对比学习特点是检索能力强但不太会“说人话”生成任务基本做不了。另一类是类似VLMo或SimVLM这类生成式模型又能理解又能生成但训练成本和数据依赖往往很重对资源和数据质量的要求都不低。BLIP的切入点在于“平衡”。它不想牺牲理解能力去换生成能力也不想像纯编码器模型那样只在一个分类头里打转。论文团队给出了一种解决方案把编码和解码放进一个统一框架同时通过设计新的预训练目标来让两部分各司其职。这就是为什么标题里会出现“CLS、Encode、Decode”三个词——它们分别对应了分类、编码、解码三种核心操作BLIP的全部架构细节几乎都围绕这三件事展开。如果说CLIP是一把尺子量相似度那BLIP更像一支笔既能做阅读理解也能写句子。它保留了对比学习的检索能力同时把生成能力直接嵌入预训练过程而不是等到下游任务微调时才临时接一个解码器头。这个设计思路现在看可能觉得理所当然但在当时它对后续很多模型都产生了直接影响。1.2 认识CLS、Encode、Decode三个关键词就能拿捏BLIPCLS、Encode、Decode并不是三个独立的技术名词而是BLIP执行流程的三个阶段。理解它们的关键是知道在每个阶段模型到底在做什么、为什么要这样做。CLS阶段模型要回答“这张图和这句话匹配吗”本质是一个二分类问题。Encode阶段模型要把图像和文本分别转成紧凑的向量表示让后续的分类和生成都有足够的信息输入。Decode阶段模型要根据图像内容生成自然语言描述这一步考验的是生成能力。这三个词串起来其实就是一个完整的多模态处理管线先编码输入、再对编码结果做关系判断、必要时再解码出语言输出。BLIP的巧妙之处在于它不是简单地堆叠三个独立模块而是让它们在同一个Transformer骨架里互相协作。CLS操作会用到编码器的输出特征解码器在生成时又会对齐编码器给出的视觉特征。你把这层关系理解了后面看预训练目标的设计就会顺很多。2. CLS分类令牌的运作细节2.1 CLS在编码端如何汇总全局信息说CLS token很多做过分类任务的朋友并不陌生。BERT里搞个[CLS]训练时取它对应的输出向量做分类已经是常规操作。BLIP里也用了这套思路但它的CLS不是简单拼一个token就完事而是结合视觉编码器和文本编码器两侧的表示一起完成图文匹配这个核心预训练任务。在BLIP中图像侧用视觉TransformerViT来编码文本侧用类似BERT结构的文本编码器。编码完成后模型会把视觉特征和文本特征拼在一起送进一个多模态融合编码器。在这个融合编码器的句首位置除了原有的特殊token还会额外加入用于分类的信息通过引入跨模态注意力让模型判断整张图和整句话之间是否匹配。这个判断不是局部patch和某个词的匹配而是全局层面的它的基础就来自CLS token对全图、全文本信息的汇总能力。实际复现时需要注意这个CLS token的初始化方式值得留意。论文里很多细节都对模型效果有影响CLS token也不例外。如果你直接用随机初始化前期训练会慢一些如果能在预训练阶段给CLS一个合理的初始范围整个loss曲线的收敛节奏会更稳。2.2 解码端为什么还需要额外的ITM分类有些读者第一次看BLIP结构时容易疑问既然都做CLS二分类了解码端为什么还设计一个图文匹配任务ITM原因是编码端的CLS分类更多是在“分辨不一致”而BLIP想让模型在生成时也保有一致性判断能力。比如训练图像描述任务时模型要学会把注意力放在图像的关键区域上而不是凭文本习惯瞎编。如果只在编码端做CLS分类解码器生成时的行为并不会被直接约束。为了让解码器也具备判断“这句话和图像是否匹配”的能力BLIP在解码端设计了一个ITM任务取解码器输出的CLS位置对应的向量再做一次二分类。这个设计让我想到一个很有意思的细节BLIP的解码器不仅仅是生成器它还承担了融合编码器的角色。也就是说同一个Transformer层既要会用因果mask遮蔽未来信息来预测下一个词也要会在做ITM分类时看到完整的视觉和文本信息。这两种模式在训练时是共存的但不会互相干扰因为模型通过不同的attention mask来控制信息流。这也是BLIP实现“一种架构、多种用途”的关键。3. 编码端与解码端的协同设计3.1 编码端两个并行分支的空间结构BLIP里有一个容易让人混淆的地方它有两个编码器一个负责图像一个负责文本但它们的输出并不是完全独立使用的而是会进入一个共享的多模态融合模块。具体来说图像编码器用的是ViT文本编码器是BERT的变体。这两个编码器不是简单的各编各的然后在某个层拼在一起而是存在更细的交互设计。BLIP论文里提到了“共享self-attention和FFN层”的策略这让两个编码器在深层特征上有了对齐的可能。你如果去看实现源码会发现视觉和文本分支并不是完全隔离的某些层参数是共享的这种共享能让模型在预训练时更高效地利用有限数据。实际复现时这一步最容易踩的坑是参数共享方式理解错了。有些实现把视觉编码器和文本编码器的所有参数完全共享有些则只共享部分block。我的建议是优先按照论文默认配置来不要自己发挥。部分共享的策略是基于大量实验验证出来的不是你拍脑袋改一下就能更好的。3.2 解码端UNLMs与ARLM的机制对比解码端是BLIP的重头戏。它在预训练时用了两种解码目标一个是基于图像生成文本的语言建模任务另一个是标准的自回归语言建模任务。前者称为UNLMs后者称为ARLM。两者看起来都是“预测下一个词”但一个用视觉特征做条件一个不依赖视觉特征。UNLMs的特别之处在于输入文本被添加了类似BERT的mask同时编码端提供的视觉特征又作为额外条件注入解码器。在预测被mask掉的词时模型既能看左右上下文也能看图像这让它拥有了类似完形填空的能力而不只是单向生成。ARLM则是标准的从左到右预测不看未来信息适合做真正的生成任务。这两种目标交替训练让模型的生成能力和理解能力获得了一种动态平衡。如果只做UNLMs生成时会比较散如果只做ARLM又容易丧失全局理解能力。BLIP同时保留两者并在训练时按一定比例混合这个比例是经验调出来的论文实验里也给出了参考值。我自己在复现时发现UNLMs和ARLM的混合比例对最终生成的流畅度影响很大。第一种模式占比过高模型在生成时容易“过度填空”产生不自然的短句第二种模式占比过高生成的句子又可能过于机械。调试时要多观察验证集上的生成结果不只是看loss数字。4. CapFilt数据过滤机制与三任务联合训练4.1 CapFilt如何用噪声标注反向提升性能BLIP的另一个核心创新是CapFilt一种利用“噪声标注”来扩充训练数据的方法。简单说就是用一个训练好的模型去给图像自动生成描述文本再对生成结果做过滤只保留高质量的样本最终用它来扩充预训练数据集。CapFilt分成两步第一步是Captioner负责生成描述第二步是Filter负责过滤质量低的文本。Captioner本身就是一个基于BLIP解码器的模型Filter则更像一个打分器通过CLS分类判断生成文本和图像是否匹配。很多复现者忽视了一个关键细节Filter在过滤时不是只看一个分数而是会同时参考生成文本的置信度、与图像内容的匹配度等多个信号。为什么说它是“反向”提升性能因为用自动生成的描述训练表面看是引入了噪声但通过Filter筛出高质量伪标注反而让模型在有限真实标注之外获得了更多可学习的数据。这在数据稀缺场景下特别有用。实际操作中Captioner和Filter是需要分别训练的很多新手一开始就把两者串起来端到端训练效果会差不少。4.2 三任务联合训练时的排布技巧BLIP的预训练目标有三个图文对比学习、图文匹配、语言建模。三者的训练不是完全同步而是有节奏地交替进行。这里的核心问题是三个任务的梯度方向不完全一致如果简单地把它们加在一起反向传播模型很容易迷失。我复现时的一个重要体会是图文对比学习主要在早期起主导作用帮助模型建立一个基础的对齐空间图文匹配任务在中后期逐渐发力帮助模型细化判断语言建模任务则贯穿全程持续优化生成能力。三者的排布顺序和比重不是拍脑袋定的而是和模型的训练阶段相关。具体操作上比较稳妥的做法是参考论文开源的训练配置先跑通再尝试调比重。有些人在三任务联合训练时发现ITC loss降不下去优先怀疑是不是负样本采样策略出了问题——BLIP里的ITC是有专门做困难负样本处理的这块细节对最终检索性能影响很大建议直接读源码确认负样本构建方式不要只看公式理解。5. 复现过程中的关键细节与避坑经验5.1 预训练数据集的选择策略BLIP用了很多人熟知的公开数据集组合但很多人只跑一个小数据集测试代码效果自然和论文差距很大。你需要至少凑齐一个图像描述数据集和一个图文对数据集前者用于生成任务后者用于对齐任务。我在复现时建议的初始配置是主数据集选一个中等规模的描述数据集搭配一个较大规模的图文对数据集。这里的逻辑是让生成任务和检索任务都有足够的数据支撑。数据清洗时要注意很多图文对数据集本身噪声很大文本和图像内容经常对不上需要做一轮基础过滤否则训练出来的模型在下游任务上会出现检索性能虚高、生成性能崩掉的问题。5.2 主干模型直接决定天花板BLIP的编码器和解码器结构都基于Transformer但具体初始化和尺寸配置会直接影响最终效果。论文用的是ViT和BERT的预训练权重做初始化这也是效果能快速收敛的关键之一。实操中你如果不想从头预训练整个模型更常见的做法是加载公开的预训练权重然后只在下游任务上微调。除非你真的要做大规模预训练研究否则不建议在普通资源下从零开始训练BLIP。模型参数量不小即使你用混合精度训练显存的压力也很大。如果你在训练时发现显存不够可以先降低batch size同时检查是否开启了梯度累积。注意梯度累积步数和有效batch size要保持一致否则学习率的计算会受影响。很多人直接盲目调低batch size结果等价于改了训练配置生成效果变差是必然的。6. 常见问题速查与排查实录现象可能原因排查建议训练开始后loss一直不下降学习率设置过大或过小数据预处理不一致先固定一个周期跑小规模数据确认数据流和模型forward/backward正常生成结果重复、无内容解码时beam search参数设置不当语言建模任务占比过高调整beam size和惩罚项观察验证集生成样本灵活调整混合比例检索任务指标正常但生成质量差Filter数据质量不足UNLMs和ARLM排布失衡重新检查过滤阈值适当降低生成文本的mask概率让模型更好捕捉长程依赖显存明显不够用batch size过大输入图像分辨率过高用梯度累积替代大batch在合理范围先降分辨率稳定后逐级提升下游微调时模型不收敛预训练和微调任务模式差异大尽量复用预训练阶段相同的数据处理流程避免格式不一致带来偏移如果你在跑BLIP时遇到生成会输出骨碌碌连续重复词的情况先不要怀疑模型结构大概率是解码策略问题。我在实际调试中把beam size从默认值调小一些同时加一点重复惩罚几个来回后生成结果质量就正常了。还有一个小技巧做下游任务微调时不要把所有参数都解冻。除非你的下游数据集足够大否则建议冻结部分底层编码层只微调高层和解码器。这样既能节省显存又能减少过拟合风险。很多人一上来全参数微调跑不了多久就发现验证集loss开始反弹正是这个原因。结语实践之后我对CLS、Encode、Decode的新理解完整跑一遍BLIP之后我对标题里的三个关键词有了更深的体会。CLS不是简单一个分类头而是模型对全局信息的汇总出口Encode不是单向的特征提取而是视觉和文本信息相互对齐的过程Decode也不只是生成句子而是同时具备理解判断能力的双向交互模块。这三者本就不是割裂的步骤而是同一套架构下不同任务呈现出的工作状态。我个人在实践中的体会是读论文容易把落地效果调到满意状态才是真正耗功夫的地方。特别是BLIP这种从预训练目标到数据配比再到解码策略都充满细节的模型每一处决策背后都有实验数据支撑。如果你也打算上手建议先从理解和复现三任务联合训练开始再逐步引入CapFilt和更复杂的数据策略。把CLS、Encode、Decode这三个基础动作吃透后续所有高级技巧都会更好理解。
我最近在啃多模态预训练相关的论文正好有一篇绕不开的模型——BLIP。论文标题本身不复杂但很多人初看很容易被一堆散落的细节绕晕。今天不按论文目录刷读法走我把理解BLIP的钥匙拆成三个词CLS、Encode、Decode。只要你把这三个动作串起来整个模型的设计逻辑基本就清晰了。BLIP是典型的视觉语言预训练模型既能做图文匹配、检索这类“理解型”任务又能做图像描述、视觉问答这类“生成型”任务。它最核心的思路是让模型在同一套编码器-解码器骨架里同时把理解能力和生成能力都训练到位而不是像过去很多做法那样要么只做理解要么只做生成。适合谁看如果你正在做多模态方向的研究、复现工作或者想搞清楚CLIP之后的视觉语言模型是怎么演进的这篇拆解能帮你省下不少读源码和看实验的时间。1. BLIP到底在解决什么问题1.1 视觉语言模型的平衡难题在BLIP之前视觉语言预训练的主流思路基本可以分成两类。一类以CLIP为代表走双塔结构两个编码器各管一摊图像和文本分别编码后做对比学习特点是检索能力强但不太会“说人话”生成任务基本做不了。另一类是类似VLMo或SimVLM这类生成式模型又能理解又能生成但训练成本和数据依赖往往很重对资源和数据质量的要求都不低。BLIP的切入点在于“平衡”。它不想牺牲理解能力去换生成能力也不想像纯编码器模型那样只在一个分类头里打转。论文团队给出了一种解决方案把编码和解码放进一个统一框架同时通过设计新的预训练目标来让两部分各司其职。这就是为什么标题里会出现“CLS、Encode、Decode”三个词——它们分别对应了分类、编码、解码三种核心操作BLIP的全部架构细节几乎都围绕这三件事展开。如果说CLIP是一把尺子量相似度那BLIP更像一支笔既能做阅读理解也能写句子。它保留了对比学习的检索能力同时把生成能力直接嵌入预训练过程而不是等到下游任务微调时才临时接一个解码器头。这个设计思路现在看可能觉得理所当然但在当时它对后续很多模型都产生了直接影响。1.2 认识CLS、Encode、Decode三个关键词就能拿捏BLIPCLS、Encode、Decode并不是三个独立的技术名词而是BLIP执行流程的三个阶段。理解它们的关键是知道在每个阶段模型到底在做什么、为什么要这样做。CLS阶段模型要回答“这张图和这句话匹配吗”本质是一个二分类问题。Encode阶段模型要把图像和文本分别转成紧凑的向量表示让后续的分类和生成都有足够的信息输入。Decode阶段模型要根据图像内容生成自然语言描述这一步考验的是生成能力。这三个词串起来其实就是一个完整的多模态处理管线先编码输入、再对编码结果做关系判断、必要时再解码出语言输出。BLIP的巧妙之处在于它不是简单地堆叠三个独立模块而是让它们在同一个Transformer骨架里互相协作。CLS操作会用到编码器的输出特征解码器在生成时又会对齐编码器给出的视觉特征。你把这层关系理解了后面看预训练目标的设计就会顺很多。2. CLS分类令牌的运作细节2.1 CLS在编码端如何汇总全局信息说CLS token很多做过分类任务的朋友并不陌生。BERT里搞个[CLS]训练时取它对应的输出向量做分类已经是常规操作。BLIP里也用了这套思路但它的CLS不是简单拼一个token就完事而是结合视觉编码器和文本编码器两侧的表示一起完成图文匹配这个核心预训练任务。在BLIP中图像侧用视觉TransformerViT来编码文本侧用类似BERT结构的文本编码器。编码完成后模型会把视觉特征和文本特征拼在一起送进一个多模态融合编码器。在这个融合编码器的句首位置除了原有的特殊token还会额外加入用于分类的信息通过引入跨模态注意力让模型判断整张图和整句话之间是否匹配。这个判断不是局部patch和某个词的匹配而是全局层面的它的基础就来自CLS token对全图、全文本信息的汇总能力。实际复现时需要注意这个CLS token的初始化方式值得留意。论文里很多细节都对模型效果有影响CLS token也不例外。如果你直接用随机初始化前期训练会慢一些如果能在预训练阶段给CLS一个合理的初始范围整个loss曲线的收敛节奏会更稳。2.2 解码端为什么还需要额外的ITM分类有些读者第一次看BLIP结构时容易疑问既然都做CLS二分类了解码端为什么还设计一个图文匹配任务ITM原因是编码端的CLS分类更多是在“分辨不一致”而BLIP想让模型在生成时也保有一致性判断能力。比如训练图像描述任务时模型要学会把注意力放在图像的关键区域上而不是凭文本习惯瞎编。如果只在编码端做CLS分类解码器生成时的行为并不会被直接约束。为了让解码器也具备判断“这句话和图像是否匹配”的能力BLIP在解码端设计了一个ITM任务取解码器输出的CLS位置对应的向量再做一次二分类。这个设计让我想到一个很有意思的细节BLIP的解码器不仅仅是生成器它还承担了融合编码器的角色。也就是说同一个Transformer层既要会用因果mask遮蔽未来信息来预测下一个词也要会在做ITM分类时看到完整的视觉和文本信息。这两种模式在训练时是共存的但不会互相干扰因为模型通过不同的attention mask来控制信息流。这也是BLIP实现“一种架构、多种用途”的关键。3. 编码端与解码端的协同设计3.1 编码端两个并行分支的空间结构BLIP里有一个容易让人混淆的地方它有两个编码器一个负责图像一个负责文本但它们的输出并不是完全独立使用的而是会进入一个共享的多模态融合模块。具体来说图像编码器用的是ViT文本编码器是BERT的变体。这两个编码器不是简单的各编各的然后在某个层拼在一起而是存在更细的交互设计。BLIP论文里提到了“共享self-attention和FFN层”的策略这让两个编码器在深层特征上有了对齐的可能。你如果去看实现源码会发现视觉和文本分支并不是完全隔离的某些层参数是共享的这种共享能让模型在预训练时更高效地利用有限数据。实际复现时这一步最容易踩的坑是参数共享方式理解错了。有些实现把视觉编码器和文本编码器的所有参数完全共享有些则只共享部分block。我的建议是优先按照论文默认配置来不要自己发挥。部分共享的策略是基于大量实验验证出来的不是你拍脑袋改一下就能更好的。3.2 解码端UNLMs与ARLM的机制对比解码端是BLIP的重头戏。它在预训练时用了两种解码目标一个是基于图像生成文本的语言建模任务另一个是标准的自回归语言建模任务。前者称为UNLMs后者称为ARLM。两者看起来都是“预测下一个词”但一个用视觉特征做条件一个不依赖视觉特征。UNLMs的特别之处在于输入文本被添加了类似BERT的mask同时编码端提供的视觉特征又作为额外条件注入解码器。在预测被mask掉的词时模型既能看左右上下文也能看图像这让它拥有了类似完形填空的能力而不只是单向生成。ARLM则是标准的从左到右预测不看未来信息适合做真正的生成任务。这两种目标交替训练让模型的生成能力和理解能力获得了一种动态平衡。如果只做UNLMs生成时会比较散如果只做ARLM又容易丧失全局理解能力。BLIP同时保留两者并在训练时按一定比例混合这个比例是经验调出来的论文实验里也给出了参考值。我自己在复现时发现UNLMs和ARLM的混合比例对最终生成的流畅度影响很大。第一种模式占比过高模型在生成时容易“过度填空”产生不自然的短句第二种模式占比过高生成的句子又可能过于机械。调试时要多观察验证集上的生成结果不只是看loss数字。4. CapFilt数据过滤机制与三任务联合训练4.1 CapFilt如何用噪声标注反向提升性能BLIP的另一个核心创新是CapFilt一种利用“噪声标注”来扩充训练数据的方法。简单说就是用一个训练好的模型去给图像自动生成描述文本再对生成结果做过滤只保留高质量的样本最终用它来扩充预训练数据集。CapFilt分成两步第一步是Captioner负责生成描述第二步是Filter负责过滤质量低的文本。Captioner本身就是一个基于BLIP解码器的模型Filter则更像一个打分器通过CLS分类判断生成文本和图像是否匹配。很多复现者忽视了一个关键细节Filter在过滤时不是只看一个分数而是会同时参考生成文本的置信度、与图像内容的匹配度等多个信号。为什么说它是“反向”提升性能因为用自动生成的描述训练表面看是引入了噪声但通过Filter筛出高质量伪标注反而让模型在有限真实标注之外获得了更多可学习的数据。这在数据稀缺场景下特别有用。实际操作中Captioner和Filter是需要分别训练的很多新手一开始就把两者串起来端到端训练效果会差不少。4.2 三任务联合训练时的排布技巧BLIP的预训练目标有三个图文对比学习、图文匹配、语言建模。三者的训练不是完全同步而是有节奏地交替进行。这里的核心问题是三个任务的梯度方向不完全一致如果简单地把它们加在一起反向传播模型很容易迷失。我复现时的一个重要体会是图文对比学习主要在早期起主导作用帮助模型建立一个基础的对齐空间图文匹配任务在中后期逐渐发力帮助模型细化判断语言建模任务则贯穿全程持续优化生成能力。三者的排布顺序和比重不是拍脑袋定的而是和模型的训练阶段相关。具体操作上比较稳妥的做法是参考论文开源的训练配置先跑通再尝试调比重。有些人在三任务联合训练时发现ITC loss降不下去优先怀疑是不是负样本采样策略出了问题——BLIP里的ITC是有专门做困难负样本处理的这块细节对最终检索性能影响很大建议直接读源码确认负样本构建方式不要只看公式理解。5. 复现过程中的关键细节与避坑经验5.1 预训练数据集的选择策略BLIP用了很多人熟知的公开数据集组合但很多人只跑一个小数据集测试代码效果自然和论文差距很大。你需要至少凑齐一个图像描述数据集和一个图文对数据集前者用于生成任务后者用于对齐任务。我在复现时建议的初始配置是主数据集选一个中等规模的描述数据集搭配一个较大规模的图文对数据集。这里的逻辑是让生成任务和检索任务都有足够的数据支撑。数据清洗时要注意很多图文对数据集本身噪声很大文本和图像内容经常对不上需要做一轮基础过滤否则训练出来的模型在下游任务上会出现检索性能虚高、生成性能崩掉的问题。5.2 主干模型直接决定天花板BLIP的编码器和解码器结构都基于Transformer但具体初始化和尺寸配置会直接影响最终效果。论文用的是ViT和BERT的预训练权重做初始化这也是效果能快速收敛的关键之一。实操中你如果不想从头预训练整个模型更常见的做法是加载公开的预训练权重然后只在下游任务上微调。除非你真的要做大规模预训练研究否则不建议在普通资源下从零开始训练BLIP。模型参数量不小即使你用混合精度训练显存的压力也很大。如果你在训练时发现显存不够可以先降低batch size同时检查是否开启了梯度累积。注意梯度累积步数和有效batch size要保持一致否则学习率的计算会受影响。很多人直接盲目调低batch size结果等价于改了训练配置生成效果变差是必然的。6. 常见问题速查与排查实录现象可能原因排查建议训练开始后loss一直不下降学习率设置过大或过小数据预处理不一致先固定一个周期跑小规模数据确认数据流和模型forward/backward正常生成结果重复、无内容解码时beam search参数设置不当语言建模任务占比过高调整beam size和惩罚项观察验证集生成样本灵活调整混合比例检索任务指标正常但生成质量差Filter数据质量不足UNLMs和ARLM排布失衡重新检查过滤阈值适当降低生成文本的mask概率让模型更好捕捉长程依赖显存明显不够用batch size过大输入图像分辨率过高用梯度累积替代大batch在合理范围先降分辨率稳定后逐级提升下游微调时模型不收敛预训练和微调任务模式差异大尽量复用预训练阶段相同的数据处理流程避免格式不一致带来偏移如果你在跑BLIP时遇到生成会输出骨碌碌连续重复词的情况先不要怀疑模型结构大概率是解码策略问题。我在实际调试中把beam size从默认值调小一些同时加一点重复惩罚几个来回后生成结果质量就正常了。还有一个小技巧做下游任务微调时不要把所有参数都解冻。除非你的下游数据集足够大否则建议冻结部分底层编码层只微调高层和解码器。这样既能节省显存又能减少过拟合风险。很多人一上来全参数微调跑不了多久就发现验证集loss开始反弹正是这个原因。结语实践之后我对CLS、Encode、Decode的新理解完整跑一遍BLIP之后我对标题里的三个关键词有了更深的体会。CLS不是简单一个分类头而是模型对全局信息的汇总出口Encode不是单向的特征提取而是视觉和文本信息相互对齐的过程Decode也不只是生成句子而是同时具备理解判断能力的双向交互模块。这三者本就不是割裂的步骤而是同一套架构下不同任务呈现出的工作状态。我个人在实践中的体会是读论文容易把落地效果调到满意状态才是真正耗功夫的地方。特别是BLIP这种从预训练目标到数据配比再到解码策略都充满细节的模型每一处决策背后都有实验数据支撑。如果你也打算上手建议先从理解和复现三任务联合训练开始再逐步引入CapFilt和更复杂的数据策略。把CLS、Encode、Decode这三个基础动作吃透后续所有高级技巧都会更好理解。
