做“把物品照片贴进场景图”这类需求时我一度以为最难的是抠图。等我真正写完一个自动海报工具才发现巨大工作量都藏在最后一步——前景放进去之后颜色不搭、光照方向不对、边缘发灰一眼假。那个时候我才意识到真正的难点是“融图/溶图”是学术界统称的深度学习图像合成image composition。后来读到领域里第一篇把这类问题系统化梳理的综述文献我仿佛拿到了一张完整的地图它不是一个任务而是一组任务不是一条技术路线而是好几条演进路线的交汇。这篇文章想从“怎么读这篇综述”的角度出发把其中的任务拆解、方法脉络、评价体系和复现经验一起讲清楚给准备入门或正在做相关项目的朋友一份可以直接用的导航指南。1. 为什么“把两张图拼在一起”值得一篇综述任务边界与子问题地图1.1 合成不是拼接几个让我栽过跟头的场景先说场景。早先我做过一个自动生成商品展示图的Demo产品图是白底棚拍背景模板是暖色场景。我只做了一步“把商品放上去”输出结果被同事评价为“像贴纸”。原因说起来很简单前景的光照方向、色温、边缘半透明状态和背景完全是两套系统。第二个场景是人像换背景。很多人以为现在各种“AI换背景”工具的核心是语义分割实际上分割模型给出的alpha matte已经很准了结果还是假。问题出在前景人的皮肤高光、环境反光在冷色背景里显得太“硬”边缘过渡区域会有彩色杂边。这就涉及matting之后的协调问题。第三个场景更像是传统设计工作里说的“溶图”两张不同时间、不同相机参数下拍摄的照片要叠出一个人物在场景里的效果设计师会手动做色阶匹配、局部蒙版、柔边处理。这些操作看似零散实际都属于同一个学术问题——深度学习图像合成只是体系化之前没有名字。踩过这些坑之后再读首篇综述文献我有种豁然开朗的感觉原来这些现象背后有清晰的任务分类和成熟的算法脉络之前所有“手动调半天”的工作都是为了解决综述里定义好的几个子任务。1.2 综述的任务坐标系协调、融合、生成三大类这篇综述让我受益最深的是它给出的任务坐标系把所有看起来差不多的“拼图工作”分成三类第一类是图像协调Image Harmonization。这是最核心也最常被研究的任务。前景物体的内容完全保留算法只调整它的外观统计量比如颜色、亮度、对比度让它与背景看起来像是同一次拍摄。模型不能改动物体的结构、纹理细节只做“外貌调整”。第二类是图像融合Image Blending。它更强调边界过渡和内容连续性。你需要把前景无缝地“嵌”进背景让接缝消失尤其是前景周围半透明区域、毛发、烟雾这类复杂边界单纯调色不够还要处理空间上的重叠和混合。第三类是生成式合成。除了给定前景和背景算法还需要“无中生有”地补出一些元素物体投射在地上的阴影、玻璃上的反射、被遮挡区域的补全。这类任务没有标准答案一对多问题最难评估。为什么综述要这么分因为三类任务优化目标不一样协调任务追求“保真自然”融合任务追求“边界无痕”生成型任务追求“物理合理”。优化目标不同评价指标就不同可用监督信号也不同混在一起讨论只能得到一团乱麻。1.3 术语辨析Composition、Blending、Harmonization到底有什么不同中文里“合成”“融合”“溶图”经常混用但学术上的含义有明确边界。我把读综述时整理的概念区别做成表术语核心目标输入典型场景Image Composition广义的图像合成总称前景、背景、mask任何“把多图拼成新图”的任务Image Blending消除接缝让边界平滑前景、背景、alpha/mask无缝贴图、全景拼接Image Harmonization前后景外观统计一致前景、背景、mask换背景后的颜色、光照协调Image Matting估计前景透明度输入图、trimap精确抠图是合成的上游Shadow Generation生成合理的投影/阴影前景mask、背景结构合成物体时的物理合理性最容易被忽略的是Composition和Harmonization的区别。Composition是一个更上位的概念几乎所有“把东西放进去”的操作都算Harmonization则是这个上位概念里一个非常具体的技术点——前景内容不动只调外观。读综述时先记住这层关系后面看论文就不会被标题里的“composition”“blending”绕晕。2. 这套综述的核心框架从经典求解器到生成模型的四条演进路径2.1 经典时代的遗产梯度域融合为什么是起点深度学习之前图像合成最成功的通用工具不是“调像素”而是“调梯度”。这里我要用一个比喻来解释什么叫梯度域融合。想象一幅图像是一个水池像素值就是水位高度梯度就是水流的走向。传统直接粘贴是强行把两摊水拼一起接缝处必然有落差。经典梯度域融合常说的泊松融合的做法是只关心水流的走向把前景区域的“水流方向”粘贴到背景的“水流方向”上然后解一个偏微分方程找出一张新的“水面”让整片区域水流平稳连续接缝自然消失。这套经典方案直到今天仍是很多融合方法的基础思想。深度学习兴起之后很多“看起来高级”的网络结构其实都是在用神经网络隐式地学习“梯度域重建”这件事。但它有一个致命局限它只解决边界连续性不解决全局光照不一致。你把一个霓虹灯下的商品放到户外阳光下梯度域融合能把接缝抹掉但商品在霓虹灯下的色偏依然存在。这也是为什么深度学习协调任务在2017年前后有爆发式增长——传统方法的边界能力已经到头需要新的语义能力补上外观协调这块拼图。2.2 深度学习的第一次补课端到端回归与伪合成对深度学习介入图像合成面临的第一道坎是没有监督标签。真实场景里的“合成正确结果”是不存在的——同一个物体放进同一个背景理论上合法结果有无数种。所以早期深度方案基本都走“伪合成对”路线。伪合成对的具体构造逻辑是这样的从一张自然拍摄的图像里用目标检测或分割方法抠出一个前景区域然后对这个区域做颜色扰动、亮度偏移、饱和度调整把它贴回这张图的另一个位置或者贴到另一张相似背景图上。扰动后的结果就是输入原始自然图就是Ground Truth。模型要学的就是把“被破坏的合成图”恢复成“自然图像”。这个思路极其巧妙因为它绕过了“真值不存在”的问题把无监督式的开放任务变成了监督式的“去伪存真”任务。早期经典的端到端协调模型多数采用编码器-解码器结构输入是前景图加mask加背景图输出是协调后的合成图损失就用L1/L2加感知损失。我实际复现时最大的体会是这个环节真正决定模型上限的不是网络结构而是“伪合成对怎么构造”。扰动幅度太小模型只学会轻微提亮泛化几乎为零扰动幅度太大输入和GT差距过大模型直接学崩。后面很多论文在伪合成对构造上做文章其实都是在调整这个“借假修真”的难度。2.3 对抗训练加入战局全局/局部判别器组合像素级损失和感知损失能解决“大致像”但解决不了“真假难辨”。2016年之后GAN结构的判别器被引入图像合成成为“是否自然”的可学习损失函数。典型结构是三件套生成器通常是U-Net输入前景、mask、背景加全局判别器加局部判别器。全局判别器负责整张合成图是否协调局部判别器专门盯着前景区域判断是否穿帮。局部判别器的作用是防止“整体还行但前景本身不自然”的投机行为。这套方案的问题也很典型局部判别器容易过拟合训练早期就被生成器骗过两个判别器需要精心平衡否则训练非常不稳定。后来很多优化做法倾向于用Patch级别的判别器不必区分全局局部让每个patch自己判断或者干脆只用全局判别器。对抗损失的实质是把“自然感”这种无法用逐点距离度量的抽象性质转化为可优化的分布距离这是它最大的价值也是它最难调的原因。2.4 语义与自适应统计量从“修像素”到“修分布”第三阶段的代表性思路是不要在RGB像素层面硬调而是把前景和背景映射到特征空间在特征层面做统计对齐。这个思想理解起来不难。同一物体在不同光照下它的颜色偏移常常可以用一个线性仿射变换近似——先算前景区域特征通道的均值和方差再把这个均值和方差向背景区域对齐最后用对齐后的统计量重建前景。谁来做这个对齐学习一个归一化/反归一化函数。市面上常见的一些“风格迁移式协调”方法本质上就是这样一套流程只是把AdaIN类统计对齐从风格迁移领域搬到了合成领域。为什么这条路能行因为协调的语义本质是让前景“看起来本来就属于这个场景”而场景的光照属性在很大程度上可以用颜色分布的均值和方差概括。与其让网络学习怎么逐像素修图不如让它学习怎么“重映射分布”前者容易过拟合后者有更强的泛化能力。这篇综述把这套方法单独划为一类我当时觉得很有道理——它的核心不是图像生成而是分布变换。理解这层区别你再看后续论文就会明白为什么有些方法在某个数据集上分数高换个场景就崩因为它们背后的“分布假设”不一样。3. 疑难点逐条拆解光影、边界、阴影与反射的处理逻辑3.1 光照与色彩协调为什么直接调亮度不够新手最容易犯的错误是把前景像素整体做一个颜色直方图匹配期望它跟背景融合。实测效果往往“色对但假”。原因是自然图像的光照不是单一颜色偏移而是分层式的全局色温一致局部高光方向一致物体表面还有环境反光。综述里的协调方法把这个问题拆分成了两个层次全局层对前景整体做色调、饱和度、亮度偏移让统计量接近背景。局部层对前景内部不同区域做差异化调整比如高光区域要保留阴影区域要压暗边缘区域要透出背景的反光。我在具体实验中的推荐配方是先用色彩迁移类的统计对齐做一次预处理把全局色偏拉正再交给带感知损失和对抗损失的深度网络去细化局部。如果直接端到端全部交给网络学收敛慢结果可控性差两步走以后训练速度和最终效果都能提升不少。还有一个很容易被忽视的细节mask边缘的“前景色”其实是背景像素和前景像素的混合直接按mask贴上去会在边缘产生灰边或彩边。很多协调模型的输入只有前景、背景、mask三个通道模型本身并不知道边缘半透明的物理含义所以用户侧看到的“边缘发虚”往往不是网络问题而是输入构造时没有对边缘做软处理。做数据管线时我一般会额外给边缘做一个收缩膨胀训练时专门加强边缘区域损失权重这比换网络更有效。3.2 边缘过渡与无缝融合从alpha matte到多尺度混合如果mask是软maskalpha边缘已经有半透明值直接用它做像素加权得到的结果容易产生“前景掉色、背景渗出”的粘连感。原因很简单半透明区域既不是纯前景也不是纯背景而是两层光的混合结果加权平均只是近似不是物理正确的混合。经典图像融合的成熟做法是拉普拉斯金字塔混合把图像分解成不同频带低频带颜色基调用较宽的mask过渡高频带纹理细节用较窄的mask过渡。这样既保证大范围颜色自然过渡又不让高频细节糊掉。现代深度方案里这个思想被吸收为“多尺度监督”——网络在多个分辨率上同时输出结果让低频颜色在低分辨率上全局协调让高频细节在高分辨率上保留。实际操作中我建议至少在损失函数里加一项边缘梯度损失比如计算输出图和GT在mask边缘区域的梯度差异。它能强制网络关注接缝处很多论文不写这个细节但加上之后SSIM和主观效果都会明显提升。这一步属于“成本极低、收益明确”的优化项特别适合复现时尝试。3.3 阴影生成最难评估的“无中生有”传统合成流程里阴影往往被当作“前景自带的资产”。商品图白底棚拍自带硬阴影换到户外场景里阴影方向还是棚拍的结果就是“飘”——大家第一眼觉得不对但说不出为什么。深度学习方法专门处理阴影生成输入是前景mask加背景结构输出是阴影mask或阴影强度图。这个任务的难点在于一对多同一个物体在同一个位置理论上可以投射出不同方向、不同软硬程度的合法影子。没有标准答案意味着每一个监督信号都只是“众多正解中的一个”模型很容易学到平均模糊的影子。综述对它的定位很清醒阴影生成不能用像素级指标衡量只能看“生成区域是否有合理的形状、暗度、方向”。做评估时我建议把阴影生成的评测独立出来算阴影mask的IoU看边缘是否与物体边界一致再让用户对“影子方向是否合理”打分。如果把阴影损失和协调损失全塞进一个模型模型往往会偷懒把阴影压得很淡来“讨好”像素级指标——这是我自己踩过的坑印象很深。3.4 反射与半透明材质综述里着墨不多却很棘手的场景玻璃、水面、镜面这类材质合成时涉及的不是一层图像而是多层光学叠加背景透射层、表面反射层、材质本身的散射层。把一个人物放进玻璃场景他的边缘会带上玻璃反光的颜色衣服也可能在水面倒影里出现扭曲。综述对这块着墨不多我认为是因为成熟方法确实少。实际处理时常见做法是图像分层先把观测图分解成透射层和反射层再做合成最后把新前景叠进去。这里的难点是分层本身就是一个病态问题——单张图信息不足通常要靠多视角或深度先验。对大多数应用场景我建议先不要硬刚反射。真正产品里90%的问题可以用“给前景加一个背景色调的反光层”解决在协调模型的输出上按背景的高光颜色对前景边缘做轻度污染实测能骗过大部分人的眼睛。这个trick不是论文方法但确实是工程里性价比最高的“伪反射”处理值得一试。4. 评价体系与数据集别再光看PSNR了4.1 首要难题图像合成没有“正确答案”这是整个领域最反直觉的地方几乎所有深度学习任务都有明确的GT但图像合成没有。一个物体放进一个场景理论上合法的输出是无数种对“无限真值”做监督本质上是在退化成一个近似问题。正因如此几乎所有公共数据集里的“GT”都是合成的代理真值。它只在特定假设下成立比如“原图的自然状态就是最佳协调结果”。这就导致一个现象:同一套模型在伪合成对上刷出了很高的PSNR到了真实换背景场景却表现一般。不是模型差是评价体系和真实目标的失配。我在看这类论文时会先问一句它的GT是怎么来的如果是扰动恢复式GT那它只覆盖“外观协调”不覆盖阴影、反射、遮挡推理。理解了GT的构造你就能理解为什么有些论文指标漂亮却对产品不实用。4.2 伪合成对与真实成对两条监督路线的优劣伪合成对的优点是量大、便宜、可自动生成。早期深度合成方法基本都靠它。代价是覆盖范围有局限——扰动恢复式GT天然不包含“合理阴影生成”“反射重建”这些物理量。模型只会把不协调修成协调不会无中生有。真实成对则是用专业团队在严格控制光照、场景的情况下分两次拍摄同一布置再按时间顺序合成获得“真实合成前后”的图像对。优点是物理约束真实阴影、反射、光照变化都是实际测量到的不是模拟的缺点是成本高、数据量小、场景受限只能覆盖实验室条件下的有限几何。两条路线不是互斥关系。我见过比较理想的工程方案是先用大规模伪合成对预训练再用小规模真实成对微调。伪合成对负责打开模型的“协调能力”真实成对负责修正模型的“物理直觉”。这个组合在多个任务上都比单独任一路线稳定。4.3 指标选择的实战建议指标适用任务优势坑PSNR协调恢复类任务计算快、直观对高频细节敏感模糊图反而分高SSIM边界/局部结构局部相关性好全局色彩错误不敏感LPIPS协调/感知真实感贴近人眼感知不同版本结果有差异需固定模型FID生成型融合/阴影测分布一致性对单张图片无意义需要大样本Mask IoU阴影生成测空间位置准确性不测阴影强度、方向合理性用户研究所有最终落地最真实成本高、样本小、难复现实际项目里我的判断标准是协调类任务LPIPS加SSIM比PSNR可靠得多因为PSNR会被轻微模糊骗到高分生成型任务FID加用户评分比任何单一指标都靠谱如果是产品上线必须做小范围AB对照让用户看“哪张更像真图”不要依赖自动指标。4.4 数据集构造的常见做法从实现角度看目前主流的训练数据来源有两类。第一类是大规模通用目标检测数据集把检测框里的区域抠出来通过颜色扰动、仿射变换后再贴回图像的不同位置批量构造协调样本。它的优点是物体类别多、场景多样适合预训练。第二类是专门构建的高质量成对数据通常是人物或室内场景由人工采集或基于专业拍摄设备生成。数据量小但质量高适合微调。复现时有一个容易被忽略的工程点伪合成对的质量高度依赖mask质量。如果抠图工具边缘粗糙扰动之后再贴回去边缘会出现大量污染区域模型会把这些污染也当成“需要修复的合理输入”学出来的边缘处理能力很差。所以我在构造数据时会把mask做一次高斯模糊或用matting模型生成软mask而不是直接用分割网络的硬mask。这个改动对最终效果的贡献往往比你换一个更强的骨干网络还大。5. 把综述变成可以跑的实验复现中的选型、损失与调参经验5.1 网络骨架选型U-Net与多尺度结构为什么是默认选项综述里梳理的绝大多数协调方法底层都是编码器-解码器结构其中U-Net是绝对主流。原因很好理解协调任务需要同时保留前景高频细节和调整全局颜色U-Net的跳跃连接正好把编码器的细节特征直接送到解码器避免细节在多次降采样中丢失。但如果只是单尺度U-Net颜色协调很难做得干净。我进一步建议在多尺度结构上做文章低分辨率分支负责整体色调匹配高分辨率分支负责局部细节修正。很多论文里的“金字塔”“多尺度判别器”都是围绕这个思想做的。实际复现时你不必一开始就上全套多尺度可以先用标准U-Net跑通数据管线确认关键指标正常后再加多尺度分支。5.2 损失函数组合的推荐配方我在读过综述和复现实验后总结了下面这个损失配方它在多组实验中表现稳定总体损失 L1损失 LPIPS感知损失 梯度损失 对抗损失L1损失给训练提供稳定梯度是保底的像素级约束LPIPS感知损失让结果在人眼感知上接近GT而不是机械地逼近每一个像素梯度损失重点照顾mask边缘区域让边界过渡自然对抗损失负责“整体自然感”把前三项够不到的高层分布关系补齐。权重方面我习惯把L1作为主干权重设为1LPIPS的权重在0.5到2之间梯度损失权重在10到50之间因为它只作用在边缘区域天然量级小对抗损失权重在0.01到0.1之间太大容易盖过内容损失导致生成器学到“花哨但不保真”的纹理。这个配方的核心逻辑是用L1和梯度损失稳住低级几何用LPIPS拉住感知对齐用对抗损失顶起高层真实感。四者相互制衡任何一项权重过高都会翻车对抗太强画面发花感知太强细节被抹掉梯度太强边缘生硬。5.3 训练过程最容易翻车的两个环节第一个翻车点是伪合成对的扰动强度。扰动太弱模型学不到泛化只在原图附近打转扰动太强输入和GT差距过大训练初期损失居高不下模型倾向于把前景整体模糊。我的经验是做三档扰动强度轻度调色温、中度调亮度饱和度、重度加仿射变换局部遮挡按2:1:1的比例混合喂给训练。这样模型既能看到细微变化也能被迫学习大幅度修图。第二个翻车点是判别器先收敛过快。生成器刚开始输出还很粗糙判别器已经能完美区分真假给出饱和到极点的梯度生成器直接梯度消失。对策有三种给判别器做谱归一化降低判别器学习率到生成器的0.1倍或对判别器标签做平滑。三种手段里我推荐优先用降低学习率它最简单效果也最可控。5.4 评估与落地从“模型分高”到“产品能用”的差距代码跑通模型收敛之后还有一层差距指标高分不等于产品能用。因为我见过最典型的例子是模型为了提高感知分数把前景细节稍微磨平了一点LPIPS反而更好但用户一看就说“糊了”。这就是指标的盲区——它衡量的是统计上的感知相似度不是具体业务里的真实感。评估产品可用性时我的流程是三步固定一组掩码质量稳定的前景图和20张代表性背景生成结果做主观评分让评分者分别指出“边界问题”“颜色问题”“光照问题”“阴影问题”而不是只打一个总分统计问题类型分布针对性调参。这个流程能快速定位是模型能力问题还是数据配比问题。很多“模型不够好”的判断最后查出来其实是伪合成对里某类场景太少导致换背景时颜色崩跟模型架构完全无关。6. 综述没有回答的问题我的路测心得与后续方向6.1 Diffusion会不会重写这套框架首篇综述成稿的时间相对较早当时主流的范式还是GAN加回归扩散模型尚未大规模进入图像合成。但以我现在实际接触扩散生成模型的体验来看扩散模型确实改写了不少规则。扩散模型做协调任务有一个天然优势它在去噪过程中天然建模了“自然图像分布”对色彩和光照的统计关系掌握得比GAN更细腻生成结果不容易出现GAN那种“局部纹理过冲”。但它的问题也很突出可控性差输入约束前景、mask、背景不好精确注入容易把前景内容也改成不该改的样子。我的判断是短期里基于扩散和基于回归/对抗的两条路线会共存。回归路线适合对像素精度有硬要求的场景扩散路线适合追求整体真实感的场景。这个领域的变化会很快但综述给出的任务坐标系不会过时——判断一个大模型方案好不好仍然要看它落在哪个子任务上。6.2 文本与语义先验进入合成流程另一个方向是文本先验。传统合成输入只有像素级信息模型不知道背景是“夜晚霓虹灯”还是“白天森林”只能通过统计颜色猜。文本提示可以显式告诉模型这是阴天、这是室内暖光、这是水面倒影从而为光照和阴影的生成提供强先验。我在实验中发现文本先验对“硬场景切换”尤其有用。比如室内光打到室外场景像素统计总会被误导但如果模型能读到“室外白天”的条件很多错误可以自动避免。后续的合成系统大概率会从“像素进、像素出”变成“像素加语义进、像素出”。6.3 留给后来者的几个坑最后说几个综述没有写、但我在实践中反复踩过的坑。第一不要一上来就把所有方法复现一遍。先把任务、指标、数据固定住一次只比较一个变量。很多同学今天试协调损失明天换判别器后天改骨干变量一多什么问题都定位不出来。第二“自然感”没有绝对标准。在不同显示器、不同缩放比例下同一张合成图的评价可能截然相反。在实验报告里写清视口尺寸和显示设备比闷头刷指标更重要。第三千万别忽视mask质量。大量失败案例的根源不是模型而是输入mask边缘是错的。一个脏mask带来的累积误差需要一个非常强的模型才能救回来与其加模型参数量不如先把mask做干净。第四我对所有“论文指标很高”的方法都保持谨慎。落地之前我总会把它放到真实背景集上做一轮单样本主观评测。AI指标擅长统计趋势但在“这张图是否经得起用户反复看”这件事上人工打分永远是最终裁判。这些坑是我实际花了很多时间换来的教训文章里没写但比很多网络结构细节更能节省你的时间。
做“把物品照片贴进场景图”这类需求时我一度以为最难的是抠图。等我真正写完一个自动海报工具才发现巨大工作量都藏在最后一步——前景放进去之后颜色不搭、光照方向不对、边缘发灰一眼假。那个时候我才意识到真正的难点是“融图/溶图”是学术界统称的深度学习图像合成image composition。后来读到领域里第一篇把这类问题系统化梳理的综述文献我仿佛拿到了一张完整的地图它不是一个任务而是一组任务不是一条技术路线而是好几条演进路线的交汇。这篇文章想从“怎么读这篇综述”的角度出发把其中的任务拆解、方法脉络、评价体系和复现经验一起讲清楚给准备入门或正在做相关项目的朋友一份可以直接用的导航指南。1. 为什么“把两张图拼在一起”值得一篇综述任务边界与子问题地图1.1 合成不是拼接几个让我栽过跟头的场景先说场景。早先我做过一个自动生成商品展示图的Demo产品图是白底棚拍背景模板是暖色场景。我只做了一步“把商品放上去”输出结果被同事评价为“像贴纸”。原因说起来很简单前景的光照方向、色温、边缘半透明状态和背景完全是两套系统。第二个场景是人像换背景。很多人以为现在各种“AI换背景”工具的核心是语义分割实际上分割模型给出的alpha matte已经很准了结果还是假。问题出在前景人的皮肤高光、环境反光在冷色背景里显得太“硬”边缘过渡区域会有彩色杂边。这就涉及matting之后的协调问题。第三个场景更像是传统设计工作里说的“溶图”两张不同时间、不同相机参数下拍摄的照片要叠出一个人物在场景里的效果设计师会手动做色阶匹配、局部蒙版、柔边处理。这些操作看似零散实际都属于同一个学术问题——深度学习图像合成只是体系化之前没有名字。踩过这些坑之后再读首篇综述文献我有种豁然开朗的感觉原来这些现象背后有清晰的任务分类和成熟的算法脉络之前所有“手动调半天”的工作都是为了解决综述里定义好的几个子任务。1.2 综述的任务坐标系协调、融合、生成三大类这篇综述让我受益最深的是它给出的任务坐标系把所有看起来差不多的“拼图工作”分成三类第一类是图像协调Image Harmonization。这是最核心也最常被研究的任务。前景物体的内容完全保留算法只调整它的外观统计量比如颜色、亮度、对比度让它与背景看起来像是同一次拍摄。模型不能改动物体的结构、纹理细节只做“外貌调整”。第二类是图像融合Image Blending。它更强调边界过渡和内容连续性。你需要把前景无缝地“嵌”进背景让接缝消失尤其是前景周围半透明区域、毛发、烟雾这类复杂边界单纯调色不够还要处理空间上的重叠和混合。第三类是生成式合成。除了给定前景和背景算法还需要“无中生有”地补出一些元素物体投射在地上的阴影、玻璃上的反射、被遮挡区域的补全。这类任务没有标准答案一对多问题最难评估。为什么综述要这么分因为三类任务优化目标不一样协调任务追求“保真自然”融合任务追求“边界无痕”生成型任务追求“物理合理”。优化目标不同评价指标就不同可用监督信号也不同混在一起讨论只能得到一团乱麻。1.3 术语辨析Composition、Blending、Harmonization到底有什么不同中文里“合成”“融合”“溶图”经常混用但学术上的含义有明确边界。我把读综述时整理的概念区别做成表术语核心目标输入典型场景Image Composition广义的图像合成总称前景、背景、mask任何“把多图拼成新图”的任务Image Blending消除接缝让边界平滑前景、背景、alpha/mask无缝贴图、全景拼接Image Harmonization前后景外观统计一致前景、背景、mask换背景后的颜色、光照协调Image Matting估计前景透明度输入图、trimap精确抠图是合成的上游Shadow Generation生成合理的投影/阴影前景mask、背景结构合成物体时的物理合理性最容易被忽略的是Composition和Harmonization的区别。Composition是一个更上位的概念几乎所有“把东西放进去”的操作都算Harmonization则是这个上位概念里一个非常具体的技术点——前景内容不动只调外观。读综述时先记住这层关系后面看论文就不会被标题里的“composition”“blending”绕晕。2. 这套综述的核心框架从经典求解器到生成模型的四条演进路径2.1 经典时代的遗产梯度域融合为什么是起点深度学习之前图像合成最成功的通用工具不是“调像素”而是“调梯度”。这里我要用一个比喻来解释什么叫梯度域融合。想象一幅图像是一个水池像素值就是水位高度梯度就是水流的走向。传统直接粘贴是强行把两摊水拼一起接缝处必然有落差。经典梯度域融合常说的泊松融合的做法是只关心水流的走向把前景区域的“水流方向”粘贴到背景的“水流方向”上然后解一个偏微分方程找出一张新的“水面”让整片区域水流平稳连续接缝自然消失。这套经典方案直到今天仍是很多融合方法的基础思想。深度学习兴起之后很多“看起来高级”的网络结构其实都是在用神经网络隐式地学习“梯度域重建”这件事。但它有一个致命局限它只解决边界连续性不解决全局光照不一致。你把一个霓虹灯下的商品放到户外阳光下梯度域融合能把接缝抹掉但商品在霓虹灯下的色偏依然存在。这也是为什么深度学习协调任务在2017年前后有爆发式增长——传统方法的边界能力已经到头需要新的语义能力补上外观协调这块拼图。2.2 深度学习的第一次补课端到端回归与伪合成对深度学习介入图像合成面临的第一道坎是没有监督标签。真实场景里的“合成正确结果”是不存在的——同一个物体放进同一个背景理论上合法结果有无数种。所以早期深度方案基本都走“伪合成对”路线。伪合成对的具体构造逻辑是这样的从一张自然拍摄的图像里用目标检测或分割方法抠出一个前景区域然后对这个区域做颜色扰动、亮度偏移、饱和度调整把它贴回这张图的另一个位置或者贴到另一张相似背景图上。扰动后的结果就是输入原始自然图就是Ground Truth。模型要学的就是把“被破坏的合成图”恢复成“自然图像”。这个思路极其巧妙因为它绕过了“真值不存在”的问题把无监督式的开放任务变成了监督式的“去伪存真”任务。早期经典的端到端协调模型多数采用编码器-解码器结构输入是前景图加mask加背景图输出是协调后的合成图损失就用L1/L2加感知损失。我实际复现时最大的体会是这个环节真正决定模型上限的不是网络结构而是“伪合成对怎么构造”。扰动幅度太小模型只学会轻微提亮泛化几乎为零扰动幅度太大输入和GT差距过大模型直接学崩。后面很多论文在伪合成对构造上做文章其实都是在调整这个“借假修真”的难度。2.3 对抗训练加入战局全局/局部判别器组合像素级损失和感知损失能解决“大致像”但解决不了“真假难辨”。2016年之后GAN结构的判别器被引入图像合成成为“是否自然”的可学习损失函数。典型结构是三件套生成器通常是U-Net输入前景、mask、背景加全局判别器加局部判别器。全局判别器负责整张合成图是否协调局部判别器专门盯着前景区域判断是否穿帮。局部判别器的作用是防止“整体还行但前景本身不自然”的投机行为。这套方案的问题也很典型局部判别器容易过拟合训练早期就被生成器骗过两个判别器需要精心平衡否则训练非常不稳定。后来很多优化做法倾向于用Patch级别的判别器不必区分全局局部让每个patch自己判断或者干脆只用全局判别器。对抗损失的实质是把“自然感”这种无法用逐点距离度量的抽象性质转化为可优化的分布距离这是它最大的价值也是它最难调的原因。2.4 语义与自适应统计量从“修像素”到“修分布”第三阶段的代表性思路是不要在RGB像素层面硬调而是把前景和背景映射到特征空间在特征层面做统计对齐。这个思想理解起来不难。同一物体在不同光照下它的颜色偏移常常可以用一个线性仿射变换近似——先算前景区域特征通道的均值和方差再把这个均值和方差向背景区域对齐最后用对齐后的统计量重建前景。谁来做这个对齐学习一个归一化/反归一化函数。市面上常见的一些“风格迁移式协调”方法本质上就是这样一套流程只是把AdaIN类统计对齐从风格迁移领域搬到了合成领域。为什么这条路能行因为协调的语义本质是让前景“看起来本来就属于这个场景”而场景的光照属性在很大程度上可以用颜色分布的均值和方差概括。与其让网络学习怎么逐像素修图不如让它学习怎么“重映射分布”前者容易过拟合后者有更强的泛化能力。这篇综述把这套方法单独划为一类我当时觉得很有道理——它的核心不是图像生成而是分布变换。理解这层区别你再看后续论文就会明白为什么有些方法在某个数据集上分数高换个场景就崩因为它们背后的“分布假设”不一样。3. 疑难点逐条拆解光影、边界、阴影与反射的处理逻辑3.1 光照与色彩协调为什么直接调亮度不够新手最容易犯的错误是把前景像素整体做一个颜色直方图匹配期望它跟背景融合。实测效果往往“色对但假”。原因是自然图像的光照不是单一颜色偏移而是分层式的全局色温一致局部高光方向一致物体表面还有环境反光。综述里的协调方法把这个问题拆分成了两个层次全局层对前景整体做色调、饱和度、亮度偏移让统计量接近背景。局部层对前景内部不同区域做差异化调整比如高光区域要保留阴影区域要压暗边缘区域要透出背景的反光。我在具体实验中的推荐配方是先用色彩迁移类的统计对齐做一次预处理把全局色偏拉正再交给带感知损失和对抗损失的深度网络去细化局部。如果直接端到端全部交给网络学收敛慢结果可控性差两步走以后训练速度和最终效果都能提升不少。还有一个很容易被忽视的细节mask边缘的“前景色”其实是背景像素和前景像素的混合直接按mask贴上去会在边缘产生灰边或彩边。很多协调模型的输入只有前景、背景、mask三个通道模型本身并不知道边缘半透明的物理含义所以用户侧看到的“边缘发虚”往往不是网络问题而是输入构造时没有对边缘做软处理。做数据管线时我一般会额外给边缘做一个收缩膨胀训练时专门加强边缘区域损失权重这比换网络更有效。3.2 边缘过渡与无缝融合从alpha matte到多尺度混合如果mask是软maskalpha边缘已经有半透明值直接用它做像素加权得到的结果容易产生“前景掉色、背景渗出”的粘连感。原因很简单半透明区域既不是纯前景也不是纯背景而是两层光的混合结果加权平均只是近似不是物理正确的混合。经典图像融合的成熟做法是拉普拉斯金字塔混合把图像分解成不同频带低频带颜色基调用较宽的mask过渡高频带纹理细节用较窄的mask过渡。这样既保证大范围颜色自然过渡又不让高频细节糊掉。现代深度方案里这个思想被吸收为“多尺度监督”——网络在多个分辨率上同时输出结果让低频颜色在低分辨率上全局协调让高频细节在高分辨率上保留。实际操作中我建议至少在损失函数里加一项边缘梯度损失比如计算输出图和GT在mask边缘区域的梯度差异。它能强制网络关注接缝处很多论文不写这个细节但加上之后SSIM和主观效果都会明显提升。这一步属于“成本极低、收益明确”的优化项特别适合复现时尝试。3.3 阴影生成最难评估的“无中生有”传统合成流程里阴影往往被当作“前景自带的资产”。商品图白底棚拍自带硬阴影换到户外场景里阴影方向还是棚拍的结果就是“飘”——大家第一眼觉得不对但说不出为什么。深度学习方法专门处理阴影生成输入是前景mask加背景结构输出是阴影mask或阴影强度图。这个任务的难点在于一对多同一个物体在同一个位置理论上可以投射出不同方向、不同软硬程度的合法影子。没有标准答案意味着每一个监督信号都只是“众多正解中的一个”模型很容易学到平均模糊的影子。综述对它的定位很清醒阴影生成不能用像素级指标衡量只能看“生成区域是否有合理的形状、暗度、方向”。做评估时我建议把阴影生成的评测独立出来算阴影mask的IoU看边缘是否与物体边界一致再让用户对“影子方向是否合理”打分。如果把阴影损失和协调损失全塞进一个模型模型往往会偷懒把阴影压得很淡来“讨好”像素级指标——这是我自己踩过的坑印象很深。3.4 反射与半透明材质综述里着墨不多却很棘手的场景玻璃、水面、镜面这类材质合成时涉及的不是一层图像而是多层光学叠加背景透射层、表面反射层、材质本身的散射层。把一个人物放进玻璃场景他的边缘会带上玻璃反光的颜色衣服也可能在水面倒影里出现扭曲。综述对这块着墨不多我认为是因为成熟方法确实少。实际处理时常见做法是图像分层先把观测图分解成透射层和反射层再做合成最后把新前景叠进去。这里的难点是分层本身就是一个病态问题——单张图信息不足通常要靠多视角或深度先验。对大多数应用场景我建议先不要硬刚反射。真正产品里90%的问题可以用“给前景加一个背景色调的反光层”解决在协调模型的输出上按背景的高光颜色对前景边缘做轻度污染实测能骗过大部分人的眼睛。这个trick不是论文方法但确实是工程里性价比最高的“伪反射”处理值得一试。4. 评价体系与数据集别再光看PSNR了4.1 首要难题图像合成没有“正确答案”这是整个领域最反直觉的地方几乎所有深度学习任务都有明确的GT但图像合成没有。一个物体放进一个场景理论上合法的输出是无数种对“无限真值”做监督本质上是在退化成一个近似问题。正因如此几乎所有公共数据集里的“GT”都是合成的代理真值。它只在特定假设下成立比如“原图的自然状态就是最佳协调结果”。这就导致一个现象:同一套模型在伪合成对上刷出了很高的PSNR到了真实换背景场景却表现一般。不是模型差是评价体系和真实目标的失配。我在看这类论文时会先问一句它的GT是怎么来的如果是扰动恢复式GT那它只覆盖“外观协调”不覆盖阴影、反射、遮挡推理。理解了GT的构造你就能理解为什么有些论文指标漂亮却对产品不实用。4.2 伪合成对与真实成对两条监督路线的优劣伪合成对的优点是量大、便宜、可自动生成。早期深度合成方法基本都靠它。代价是覆盖范围有局限——扰动恢复式GT天然不包含“合理阴影生成”“反射重建”这些物理量。模型只会把不协调修成协调不会无中生有。真实成对则是用专业团队在严格控制光照、场景的情况下分两次拍摄同一布置再按时间顺序合成获得“真实合成前后”的图像对。优点是物理约束真实阴影、反射、光照变化都是实际测量到的不是模拟的缺点是成本高、数据量小、场景受限只能覆盖实验室条件下的有限几何。两条路线不是互斥关系。我见过比较理想的工程方案是先用大规模伪合成对预训练再用小规模真实成对微调。伪合成对负责打开模型的“协调能力”真实成对负责修正模型的“物理直觉”。这个组合在多个任务上都比单独任一路线稳定。4.3 指标选择的实战建议指标适用任务优势坑PSNR协调恢复类任务计算快、直观对高频细节敏感模糊图反而分高SSIM边界/局部结构局部相关性好全局色彩错误不敏感LPIPS协调/感知真实感贴近人眼感知不同版本结果有差异需固定模型FID生成型融合/阴影测分布一致性对单张图片无意义需要大样本Mask IoU阴影生成测空间位置准确性不测阴影强度、方向合理性用户研究所有最终落地最真实成本高、样本小、难复现实际项目里我的判断标准是协调类任务LPIPS加SSIM比PSNR可靠得多因为PSNR会被轻微模糊骗到高分生成型任务FID加用户评分比任何单一指标都靠谱如果是产品上线必须做小范围AB对照让用户看“哪张更像真图”不要依赖自动指标。4.4 数据集构造的常见做法从实现角度看目前主流的训练数据来源有两类。第一类是大规模通用目标检测数据集把检测框里的区域抠出来通过颜色扰动、仿射变换后再贴回图像的不同位置批量构造协调样本。它的优点是物体类别多、场景多样适合预训练。第二类是专门构建的高质量成对数据通常是人物或室内场景由人工采集或基于专业拍摄设备生成。数据量小但质量高适合微调。复现时有一个容易被忽略的工程点伪合成对的质量高度依赖mask质量。如果抠图工具边缘粗糙扰动之后再贴回去边缘会出现大量污染区域模型会把这些污染也当成“需要修复的合理输入”学出来的边缘处理能力很差。所以我在构造数据时会把mask做一次高斯模糊或用matting模型生成软mask而不是直接用分割网络的硬mask。这个改动对最终效果的贡献往往比你换一个更强的骨干网络还大。5. 把综述变成可以跑的实验复现中的选型、损失与调参经验5.1 网络骨架选型U-Net与多尺度结构为什么是默认选项综述里梳理的绝大多数协调方法底层都是编码器-解码器结构其中U-Net是绝对主流。原因很好理解协调任务需要同时保留前景高频细节和调整全局颜色U-Net的跳跃连接正好把编码器的细节特征直接送到解码器避免细节在多次降采样中丢失。但如果只是单尺度U-Net颜色协调很难做得干净。我进一步建议在多尺度结构上做文章低分辨率分支负责整体色调匹配高分辨率分支负责局部细节修正。很多论文里的“金字塔”“多尺度判别器”都是围绕这个思想做的。实际复现时你不必一开始就上全套多尺度可以先用标准U-Net跑通数据管线确认关键指标正常后再加多尺度分支。5.2 损失函数组合的推荐配方我在读过综述和复现实验后总结了下面这个损失配方它在多组实验中表现稳定总体损失 L1损失 LPIPS感知损失 梯度损失 对抗损失L1损失给训练提供稳定梯度是保底的像素级约束LPIPS感知损失让结果在人眼感知上接近GT而不是机械地逼近每一个像素梯度损失重点照顾mask边缘区域让边界过渡自然对抗损失负责“整体自然感”把前三项够不到的高层分布关系补齐。权重方面我习惯把L1作为主干权重设为1LPIPS的权重在0.5到2之间梯度损失权重在10到50之间因为它只作用在边缘区域天然量级小对抗损失权重在0.01到0.1之间太大容易盖过内容损失导致生成器学到“花哨但不保真”的纹理。这个配方的核心逻辑是用L1和梯度损失稳住低级几何用LPIPS拉住感知对齐用对抗损失顶起高层真实感。四者相互制衡任何一项权重过高都会翻车对抗太强画面发花感知太强细节被抹掉梯度太强边缘生硬。5.3 训练过程最容易翻车的两个环节第一个翻车点是伪合成对的扰动强度。扰动太弱模型学不到泛化只在原图附近打转扰动太强输入和GT差距过大训练初期损失居高不下模型倾向于把前景整体模糊。我的经验是做三档扰动强度轻度调色温、中度调亮度饱和度、重度加仿射变换局部遮挡按2:1:1的比例混合喂给训练。这样模型既能看到细微变化也能被迫学习大幅度修图。第二个翻车点是判别器先收敛过快。生成器刚开始输出还很粗糙判别器已经能完美区分真假给出饱和到极点的梯度生成器直接梯度消失。对策有三种给判别器做谱归一化降低判别器学习率到生成器的0.1倍或对判别器标签做平滑。三种手段里我推荐优先用降低学习率它最简单效果也最可控。5.4 评估与落地从“模型分高”到“产品能用”的差距代码跑通模型收敛之后还有一层差距指标高分不等于产品能用。因为我见过最典型的例子是模型为了提高感知分数把前景细节稍微磨平了一点LPIPS反而更好但用户一看就说“糊了”。这就是指标的盲区——它衡量的是统计上的感知相似度不是具体业务里的真实感。评估产品可用性时我的流程是三步固定一组掩码质量稳定的前景图和20张代表性背景生成结果做主观评分让评分者分别指出“边界问题”“颜色问题”“光照问题”“阴影问题”而不是只打一个总分统计问题类型分布针对性调参。这个流程能快速定位是模型能力问题还是数据配比问题。很多“模型不够好”的判断最后查出来其实是伪合成对里某类场景太少导致换背景时颜色崩跟模型架构完全无关。6. 综述没有回答的问题我的路测心得与后续方向6.1 Diffusion会不会重写这套框架首篇综述成稿的时间相对较早当时主流的范式还是GAN加回归扩散模型尚未大规模进入图像合成。但以我现在实际接触扩散生成模型的体验来看扩散模型确实改写了不少规则。扩散模型做协调任务有一个天然优势它在去噪过程中天然建模了“自然图像分布”对色彩和光照的统计关系掌握得比GAN更细腻生成结果不容易出现GAN那种“局部纹理过冲”。但它的问题也很突出可控性差输入约束前景、mask、背景不好精确注入容易把前景内容也改成不该改的样子。我的判断是短期里基于扩散和基于回归/对抗的两条路线会共存。回归路线适合对像素精度有硬要求的场景扩散路线适合追求整体真实感的场景。这个领域的变化会很快但综述给出的任务坐标系不会过时——判断一个大模型方案好不好仍然要看它落在哪个子任务上。6.2 文本与语义先验进入合成流程另一个方向是文本先验。传统合成输入只有像素级信息模型不知道背景是“夜晚霓虹灯”还是“白天森林”只能通过统计颜色猜。文本提示可以显式告诉模型这是阴天、这是室内暖光、这是水面倒影从而为光照和阴影的生成提供强先验。我在实验中发现文本先验对“硬场景切换”尤其有用。比如室内光打到室外场景像素统计总会被误导但如果模型能读到“室外白天”的条件很多错误可以自动避免。后续的合成系统大概率会从“像素进、像素出”变成“像素加语义进、像素出”。6.3 留给后来者的几个坑最后说几个综述没有写、但我在实践中反复踩过的坑。第一不要一上来就把所有方法复现一遍。先把任务、指标、数据固定住一次只比较一个变量。很多同学今天试协调损失明天换判别器后天改骨干变量一多什么问题都定位不出来。第二“自然感”没有绝对标准。在不同显示器、不同缩放比例下同一张合成图的评价可能截然相反。在实验报告里写清视口尺寸和显示设备比闷头刷指标更重要。第三千万别忽视mask质量。大量失败案例的根源不是模型而是输入mask边缘是错的。一个脏mask带来的累积误差需要一个非常强的模型才能救回来与其加模型参数量不如先把mask做干净。第四我对所有“论文指标很高”的方法都保持谨慎。落地之前我总会把它放到真实背景集上做一轮单样本主观评测。AI指标擅长统计趋势但在“这张图是否经得起用户反复看”这件事上人工打分永远是最终裁判。这些坑是我实际花了很多时间换来的教训文章里没写但比很多网络结构细节更能节省你的时间。
平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测)
