alpha-free-matting通过设计loss只需要trimap就可以实现毛发级别的mattingAffinity lossAffinity loss 在图像 matting 里本质上是利用图像中像素之间的相似关系affinity来约束 alpha matte 的结构让模型在只有粗标注比如 trimap时也能把 alpha 从已知区域传播到未知区域。假设图像里有两块颜色相近的黄色毛发区域像素 A 在粗 mask 内部alpha 接近 1像素 B 在粗 mask 外部但颜色和 A 很像Affinity loss 会希望 A 和 B 的 alpha 关系符合它们在图像上的相似关系。理想情况一个像素i位置处的alpha要等于和像素相似的所有像素的alpha的加权和A is the affinity matrix表示相似程度。所以affinity loss 就是实现上只在中心像素周围KxK的区域去寻找相似像素并且只取最相似的K个像素去计算A。Affinity loss 不是万能的主要有三类局限不能保证边界平滑即使 L_affinity 0alpha 在边界处仍可能不是理想的平滑过渡。均匀颜色区域容易“卡住”在长发、毛发等颜色接近常数的区域线性或二次 alpha 过渡也能让 affinity loss 很小导致发丝无法继续向外生长也就是 growth arrest。简单来说就是在均匀颜色区域里affinity loss 主要约束“alpha 局部平滑”而线性或二次下降已经是很好的平滑解再配合粗 mask 把两端固定为 1 和 0alpha 就会被卡在粗边界附近无法继续向外生长到真实发梢。只约束距离大小不约束方向如果只要求距离相等前景内部可能被拉扯出噪声DDC loss 通过保留符号缓解这个问题。DC lossaffinity loss 仅要求 alpha 整体呈现线性或二次变化但并未控制其局部变化趋势。因此当 alpha 值分布呈现如图 4 右下子图所示的状态时affinity loss 无法提供足够的惩罚。为此在affinity loss基础上更进一步如果图像中的某些像素相似那么它们对应的 alpha 值也应具有相同程度的相似性相似程度要求alpha matte 与输入图像中相似像素对之间的欧氏距离保持一致。虽然DC loss能恢复出毛发的细节但是DC loss和known loss在known regions会有冲突。因为known loss会把前景都预测为1但是DC loss又要求mask上也和原始rgb一样有像素差异所以就会在前景处有噪声DDC loss和DC loss的区别就是保留了像素差异的符号如果 DC loss 只约束距离大小它可能和 known loss 发生轻微冲突known loss 想把 alpha 压到 1DC loss 却因为距离约束让某些像素稍微偏离 1形成细小纹理。DDC loss 保留方向后相似像素的 alpha 变化会更一致不会在前景内部或背景内部制造额外起伏所以能缓解这种冲突。下面就是不同loss的对比
alpha-free-matting通过设计loss只需要trimap就可以实现毛发级别的mattingAffinity lossAffinity loss 在图像 matting 里本质上是利用图像中像素之间的相似关系affinity来约束 alpha matte 的结构让模型在只有粗标注比如 trimap时也能把 alpha 从已知区域传播到未知区域。假设图像里有两块颜色相近的黄色毛发区域像素 A 在粗 mask 内部alpha 接近 1像素 B 在粗 mask 外部但颜色和 A 很像Affinity loss 会希望 A 和 B 的 alpha 关系符合它们在图像上的相似关系。理想情况一个像素i位置处的alpha要等于和像素相似的所有像素的alpha的加权和A is the affinity matrix表示相似程度。所以affinity loss 就是实现上只在中心像素周围KxK的区域去寻找相似像素并且只取最相似的K个像素去计算A。Affinity loss 不是万能的主要有三类局限不能保证边界平滑即使 L_affinity 0alpha 在边界处仍可能不是理想的平滑过渡。均匀颜色区域容易“卡住”在长发、毛发等颜色接近常数的区域线性或二次 alpha 过渡也能让 affinity loss 很小导致发丝无法继续向外生长也就是 growth arrest。简单来说就是在均匀颜色区域里affinity loss 主要约束“alpha 局部平滑”而线性或二次下降已经是很好的平滑解再配合粗 mask 把两端固定为 1 和 0alpha 就会被卡在粗边界附近无法继续向外生长到真实发梢。只约束距离大小不约束方向如果只要求距离相等前景内部可能被拉扯出噪声DDC loss 通过保留符号缓解这个问题。DC lossaffinity loss 仅要求 alpha 整体呈现线性或二次变化但并未控制其局部变化趋势。因此当 alpha 值分布呈现如图 4 右下子图所示的状态时affinity loss 无法提供足够的惩罚。为此在affinity loss基础上更进一步如果图像中的某些像素相似那么它们对应的 alpha 值也应具有相同程度的相似性相似程度要求alpha matte 与输入图像中相似像素对之间的欧氏距离保持一致。虽然DC loss能恢复出毛发的细节但是DC loss和known loss在known regions会有冲突。因为known loss会把前景都预测为1但是DC loss又要求mask上也和原始rgb一样有像素差异所以就会在前景处有噪声DDC loss和DC loss的区别就是保留了像素差异的符号如果 DC loss 只约束距离大小它可能和 known loss 发生轻微冲突known loss 想把 alpha 压到 1DC loss 却因为距离约束让某些像素稍微偏离 1形成细小纹理。DDC loss 保留方向后相似像素的 alpha 变化会更一致不会在前景内部或背景内部制造额外起伏所以能缓解这种冲突。下面就是不同loss的对比
