简介清华大学崔鹏等学者撰写的《分布外泛化综述》PDF面向深度学习研究者、研究生与算法工程师系统回应训练与测试分布不一致时模型性能骤降的问题。全文从OOD泛化的形式化定义出发按学习流程将方法归为无监督表示学习、监督模型学习与优化策略三类并讨论因果推理、不变性学习、稳定学习的理论联系以及常用数据集和评估指标。压缩包共1个PDF文件约5.34MB便于检索、批注和离线阅读。已有2740人学习下载适合作为课题入门、论文写作与算法选型的参考。读者可借此快速建立从问题定义、方法分类到评价体系的完整框架理解分布鲁棒优化等思路定位代表性工作与术语线索并依据文末总结的未来方向规划研究减少在非独立同分布场景中的盲目试错。1. 从 i.i.d. 失效说起一篇把三条方法线串起来的 OOD 综述上个月有人把图像分类模型拿给我看训练集上准确率能到 96换一个拍摄设备采集的测试集准确率立刻掉到 71。他的第一反应是过拟合加了 dropout、把 weight decay 调大结果基本没有变化。这是标准的分布外泛化场景——训练分布和测试分布不满足独立同分布模型学到了大量在训练集里成立、换环境就失效的相关性性能下降是必然的。2021 年挂上预印本平台的那篇 OOD 综述arXiv:2108.13624做的正是这件事把分布外泛化从形式化定义、方法分类、理论联系一路梳理到评测协议和开放问题并且按方法在训练流水线上的位置分成表示学习、模型学习、优化三条支线。它适合两类人被 distribution shift 反复困扰、需要一套可复现评测流程的算法工程师以及要写开题报告、需要一张方法地图的研究生。下面按「先读哪、再搭什么、最后怎么验」的顺序拆。2. 拆解方法地图三类 OOD 方法在训练流水线上的坐标这篇综述最有价值的地方在于分类方式它先承认一件事即 OOD 泛化在没有任何假设时是不可解的。测试分布 (P_{te}(X,Y)) 在训练阶段未知且与 (P_{tr}(X,Y)) 不同你不可能对一个完全未知的目标做优化。因此所有方法本质上都在做同一件事往问题里注入某种先验把「未知的测试分布」压缩成一个可以被约束的集合。协变量偏移(P_{tr}(Y|X)P_{te}(Y|X))只有 (P(X)) 变是最常见也研究最透的一类绝大多数 benchmark 都建在这个假设上。理解了这条前提再看后面的方法分类就不会觉得是在罗列名词。2.1 三个坐标表示、模型、优化综述把标准监督学习问题拆成三个相对独立的部件特征表示 (g(X))、从特征到标签的映射 (f_\theta)也就是模型结构和归纳偏置、以及优化目标的构造方式。三类 OOD 方法正好一一对应第一类是无监督表示学习动的是 (g(X))。它用解耦表示disentangled representation或因果表示causal representation把人关于「哪些因子应该独立、哪个因子是因果的」的先验写进表示学习过程希望学出来的特征本身就对分布变化不敏感。典型手段是 VAE 系的变分贝叶斯框架通过约束隐变量的独立性和语义对齐让模型把「物体形状」和「背景纹理」分开。第二类是有监督模型学习动的是 (f_\theta) 和学习策略。它包含因果学习、稳定学习和领域泛化三条子线。领域泛化的思路最工程化训练时给多个源域要求模型在这些域上同时表现好因果学习试图恢复 (X) 与 (Y) 之间的因果结构把虚假相关剪掉稳定学习则从样本重加权的角度出发通过去相关让模型对选择偏置selection bias鲁棒。第三类是针对优化目标的改造动的是损失函数本身。分布鲁棒优化DRO把训练目标从「平均损失最小」换成「最坏情况下的损失最小」在人为构造的分布球内做 min-max不变性优化IRM 系则直接惩罚「不同环境下最优分类器不一致」这件事。这个划分的好处是它天然可组合你完全可以在一个 ResNet 主干上同时加解耦正则、IRM 惩罚和 GroupDRO 的权重更新三者不冲突因为它们作用在流水线的不同位置。反过来说如果你只改其中一个位置却期待质变大概率会失望——这也是后面避坑章节里要反复提到的。2.2 一张对照表决定你从哪篇切入综述正文覆盖的方法很多但落到「我这周要动手」其实只需要先判断自己手上的数据长什么样。下面这张表是我按综述的三分法重排的选型参考前三列对应综述里的分类第四列是「你需要额外准备什么」最后一列是我在实际项目里的取舍经验方法类别代表思路改动位置额外需要的东西什么时候优先选无监督表示学习解耦表示、因果表示特征提取器 (g(X))较强的结构先验、较大数据量有明确因子语义姿态、光照、背景且愿意做生成式建模监督模型学习领域泛化、因果学习、稳定学习模型结构与训练策略多源域标签稳定学习还需样本级协变量有多个采集批次/站点域标签齐全这是最实用的入口优化DRO、不变性优化损失函数与优化器域标签 可调的超参预算基线已跑通想把 worst-case 指标再推几个点如果只有单源域、没有域标签前两类基本用不了只能退到稳定学习那种靠样本重加权近似去相关的路子效果通常不如多域设定稳。这点综述里讲得比较克制但实际动手的人一定要提前认清。2.3 最小可跑骨架先把数据协议钉死我见过太多人一上来就抄 IRM 的损失函数改完发现指标没动最后排查半天发现是数据划分写错了——测试域混进了训练集或者预处理在划分之前做了全局归一化。综述里专门用一节讲评测原因就在这里OOD 实验里数据协议的重要性高于算法本身。我一般会先把目录和文件固定成下面这个样子再谈模型ood_bench/ ├── data/ │ ├── PACS/ │ │ ├── art/ cartoons/ photo/ sketch/ │ └── splits/ │ ├── pacs_art.csv # filepath,label,domain │ ├── pacs_cartoons.csv │ ├── pacs_photo.csv │ └── pacs_sketch.csv ├── src/ │ ├── data.py # Dataset 与 DataLoader │ ├── metrics.py # 指标 │ ├── losses.py # IRM / GroupDRO │ └── train.py └── runs/ # 每次实验一个目录存 config 和日志划分文件用「一行一个样本」的 csv字段固定为路径、标签、域。每做一次留一法实验就是把其中一个 csv 当成测试集、其余三个当训练集这个映射关系写死在配置里不要靠代码里的 if-else 临时判断。预处理参数均值方差、裁剪尺寸必须只在训练域上统计然后原样应用到测试域——这一条看起来是常识但它在复现 OOD 结果时是最常见的出错点之一因为大部分人习惯直接调transforms.Normalize(mean[0.485,...])虽然 ImageNet 统计量在 PACS 上问题不大一旦换成自采数据就会出问题。3. 复现评测协议PACS 四域留一法与最差域准确率这一章把「能跑起来」这件事做完整。PACS 是 OOD 领域泛化最常用的入口数据集之一四个域艺术画、卡通、照片、素描、七个类别、总量不到一万张单卡几十分钟能跑完一轮非常适合验证代码链路是否正确。综述里提到的 VLCS、Office-Home、DomainNet、TerraIncognita 协议大同小异把划分文件换掉即可。3.1 领域留一法与 DataLoader先写数据层。关键点有两个一是每个域单独一个Dataset实例保证域标签不会在拼接时丢失二是训练域之间要能独立采样因为 IRM 和 GroupDRO 都需要按域计算损失。import csv from pathlib import Path from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class DomainDataset(Dataset): def __init__(self, csv_path, root, transformNone): self.root Path(root) self.transform transform self.items [] with open(csv_path, newline) as f: for row in csv.DictReader(f): # 每条记录保留 domain 字段后面按域聚合损失要用 self.items.append((row[filepath], int(row[label]), row[domain])) def __len__(self): return len(self.items) def __getitem__(self, idx): rel, label, domain self.items[idx] img Image.open(self.root / rel).convert(RGB) if self.transform: img self.transform(img) return img, label, domain def build_train_transform(img_size224): # 只用训练域统计出的均值方差不要拿测试域参与 return transforms.Compose([ transforms.RandomResizedCrop(img_size, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) def build_loaders(split_dir, root, test_domain, batch_size32, num_workers4): all_domains [art, cartoons, photo, sketch] train_domains [d for d in all_domains if d ! test_domain] tf build_train_transform() # 每个训练域一个 loader长度取最大值训练时用 round-robin 取 batch train_loaders [ DataLoader(DomainDataset(f{split_dir}/pacs_{d}.csv, root, tf), batch_sizebatch_size, shuffleTrue, num_workersnum_workers, drop_lastTrue) for d in train_domains ] test_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) test_loader DataLoader( DomainDataset(f{split_dir}/pacs_{test_domain}.csv, root, test_tf), batch_size64, shuffleFalse, num_workersnum_workers) return train_loaders, test_loader这段代码的逻辑是每个训练域一个DataLoader返回的 batch 里带上domain字段供后续按域计算损失和更新权重使用。drop_lastTrue是为了让每个域在同一个 step 里都有完整 batch否则 IRM 的惩罚项在不同域 batch 大小不一致时会失真。build_train_transform里的RandomResizedCrop尺度我设在 0.7 到 1.0比默认的 0.08 保守——OOD 场景下过度激进的数据增强会掩盖域间差异反而让方法之间的对比失去意义。测试集只做 resize 和中心化不做任何随机增强这是评测一致性的底线。3.2 两个指标平均准确率与最差域准确率OOD 评测不能只看测试域的单一准确率因为它不告诉你模型是「在某个域上崩了」还是「所有域都平平」。综述推荐的报告方式是给出一组域上的平均准确率和最差域准确率前者看整体后者看短板。import torch torch.no_grad() def evaluate(model, loader, device): model.eval() correct total 0 for x, y, _ in loader: x, y x.to(device), y.to(device) pred model(x).argmax(dim1) correct (pred y).sum().item() total y.numel() return correct / max(total, 1) def report(acc_dict): # acc_dict: {art: 0.81, cartoons: 0.72, ...} vals list(acc_dict.values()) avg sum(vals) / len(vals) worst min(vals) gap avg - worst print(favg_acc{avg:.4f} worst_acc{worst:.4f} gap{gap:.4f}) return {avg: avg, worst: worst, gap: gap}evaluate只返回单个域的准确率report负责聚合。三个指标里avg用于和其他论文对比worst用于判断方法是否真的改善了鲁棒性gap是我自己加的——它衡量各域之间的一致性gap 变小往往说明模型在往「学到域不变特征」的方向走比单看平均值更能提前发现趋势。这里有个经验如果某个方法把 avg 提了 1 个点但 worst 掉了 2 个点那它大概率是靠拟合多数域在刷分不值得跟进。3.3 ERM 基线跑通与结果解读在碰任何 OOD 方法之前必须把 ERM 基线跑出稳定数字。ERM 就是最朴素的经验风险最小化综述里反复强调它作为对照的地位——很多论文报告的提升其实是没调好基线导致的。import torch from torch import nn, optim from torchvision.models import resnet18 def train_erm(train_loaders, test_loader, device, epochs30, lr1e-3): model resnet18(weightsNone, num_classes7).to(device) opt optim.Adam(model.parameters(), lrlr, weight_decay5e-4) sched optim.lr_scheduler.CosineAnnealingLR(opt, T_maxepochs) crit nn.CrossEntropyLoss() iters [iter(l) for l in train_loaders] for ep in range(epochs): model.train() for step in range(min(len(l) for l in train_loaders)): # round-robin每个 step 从每个训练域各取一个 batch 合并 xs, ys [], [] for i, it in enumerate(iters): try: x, y, _ next(it) except StopIteration: iters[i] iter(train_loaders[i]) x, y, _ next(iters[i]) xs.append(x); ys.append(y) x torch.cat(xs).to(device) y torch.cat(ys).to(device) loss crit(model(x), y) opt.zero_grad(); loss.backward(); opt.step() sched.step() if (ep 1) % 5 0: acc evaluate(model, test_loader, device) print(fepoch{ep1} test_acc{acc:.4f}) return model训练循环里用的是 round-robin 采样每个 step 从每个训练域各取一个 batch 然后拼接。这个设计不是 ERM 必需的但它让后续接入 IRM 和 GroupDRO 时不需要重写循环——那两个方法本来就要求 batch 按域可分离。如果你直接用ConcatDataset混采样域信息会在 batch 内部被打散接方法时就得回头返工。weight_decay5e-4和余弦退火是 PACS 上比较通用的配置epochs30足够看出趋势正式跑对比实验时我会拉到 50 并跑三个种子取均值。ERM 在 PACS 留一法上的 avg 一般在 0.75 到 0.80 区间波动具体取决于种子和增强强度如果你跑出来只有 0.6 出头先别怀疑算法回头查划分文件和归一化。4. 落到训练细节IRM 惩罚项、DRO 权重更新与样本加权基线稳定之后才轮到方法本身。这一章把综述里三类方法中最具工程可操作性的几个实现拆开讲重点不是公式推导而是「写在哪、参数怎么调、什么时候该放弃」。4.1 IRMv1 惩罚项写在哪一层、λ 怎么扫不变风险最小化IRM的核心主张是存在一个特征表示使得在每个环境上基于该表示的最优分类器都相同。工程上最常用的是 IRMv1 的近似形式它把惩罚项加在分类头的输出上通过对手写一个标量乘子并对它求梯度来近似不变性约束。def irm_penalty(logits, y, crit): # 对手写标量 scale 求梯度衡量「分类头整体缩放」对损失的影响 scale torch.tensor(1.0, devicelogits.device, requires_gradTrue) loss crit(logits * scale, y) grad torch.autograd.grad(loss, [scale], create_graphTrue)[0] return torch.sum(grad ** 2) def train_irm(train_loaders, test_loader, device, epochs30, lr1e-3, irm_lambda1e2, irm_anneal_iters200): model resnet18(weightsNone, num_classes7).to(device) opt optim.Adam(model.parameters(), lrlr, weight_decay5e-4) crit nn.CrossEntropyLoss() iters [iter(l) for l in train_loaders] step 0 for ep in range(epochs): model.train() for _ in range(min(len(l) for l in train_loaders)): xs, ys [], [] for i, it in enumerate(iters): try: x, y, _ next(it) except StopIteration: iters[i] iter(train_loaders[i]) x, y, _ next(iters[i]) xs.append(x); ys.append(y) erm_loss, pen 0.0, 0.0 for x, y in zip(xs, ys): x, y x.to(device), y.to(device) logits model(x) erm_loss erm_loss crit(logits, y) pen pen irm_penalty(logits, y, crit) # 前 warmup 步只跑 ERM让表示先有基本判别力再逐步加惩罚 weight irm_lambda if step irm_anneal_iters else 0.0 loss erm_loss weight * pen opt.zero_grad(); loss.backward(); opt.step() step 1 if (ep 1) % 5 0: print(fepoch{ep1} test_acc{evaluate(model, test_loader, device):.4f}) return modelirm_penalty的实现对应 IRMv1 的做法固定分类器参数、只对一个全局缩放因子求导梯度平方和作为惩罚。这里有两个参数必须说清楚。irm_lambda控制惩罚强度PACS 上常用 1e2 到 1e3 的量级太小等于没加太大会让模型退化成常数输出、准确率直接掉到随机水平我一般先固定 1e2 跑通再在 1e2、5e2、1e3 三个点上扫。irm_anneal_iters是 warmup 步数前 200 步只跑普通损失这是综述里也提到的实践技巧——表示还没学出基本判别力时加不变性约束梯度会被惩罚项主导训练直接崩。判断是否生效的标准是训练损失正常下降测试域 worst_acc 相对 ERM 有小幅提升通常一两个点如果 avg 掉超过三个点先把 lambda 降一个数量级。4.2 GroupDROq 的指数更新与熵正则分布鲁棒优化的思路是给每个训练域分配一个权重 (q_e)然后最小化加权后的最坏情况损失。权重不是固定的而是随着训练动态调整哪个域的损失大权重就往哪边偏。class GroupDRO: def __init__(self, n_groups, eta0.01, devicecuda): self.q torch.ones(n_groups, devicedevice) / n_groups self.eta eta self.device device def update(self, per_group_loss): # per_group_loss: list[scalar]每个训练域一个 with torch.no_grad(): loss_vec torch.stack(per_group_loss) self.q self.q * torch.exp(self.eta * loss_vec.detach()) self.q self.q / self.q.sum() # 归一化保持概率单纯形 return self.q def weighted_loss(self, per_group_loss): loss_vec torch.stack(per_group_loss) return torch.sum(self.q * loss_vec)q的更新用的是指数加权eta控制调整速度常用 0.01 到 0.1。太小则权重几乎不动退化成均匀平均太大则训练初期就被某个难域带偏模型只在那个域上优化。我一般从 0.01 起看训练日志里q的分布是否在合理范围内波动——如果某一项很快逼近 1.0说明 eta 太大或者该域本身有问题比如样本量只有其他域的十分之一。这里有个细节update里对损失做了detach()但weighted_loss里用的是原始损失梯度能正常回传。如果误把 detach 后的向量传进加权损失梯度就断了训练看起来正常但模型完全不更新这种 bug 排查起来非常费时间。综述在 DRO 部分还提到一个改进方向在超参数不确定时同时做 min-max以及给 (q) 加熵正则避免过度集中。熵正则的实现是在更新后对 (q) 做一次软混合比如 (q \leftarrow (1-\alpha)q \alpha \cdot \text{uniform})(\alpha) 取 0.05 左右。这个改动在域数量少比如四个域时效果不明显域数上到六七个以后能明显稳住训练。4.3 稳定学习式样本加权不需要域标签的那条路前面两类方法都要求域标签。现实中更常见的情况是数据来自多个批次但批次信息没记录或者记录得不完整。稳定学习那一路的做法是从样本层面去相关对每个样本算一个权重使得加权后特征之间的相关性被压到接近零从而削弱虚假相关。综述里描述的典型流程分两步先对特征做随机傅里叶变换或者直接算全局协方差然后对每个样本求一个权重让加权协方差矩阵的非对角元趋近于零。工程上有一个简化版本可以先用起来——按特征聚类做分层重加权把每个簇的样本权重调成与标签分布无关。def sample_reweight(feats, labels, n_bins50, clip0.1): # feats: [N, D]模型中间层特征labels: [N] # 简化做法按特征第一主成分分箱再在每箱内做类别均衡 z feats[:, 0] order torch.argsort(z) weights torch.ones(len(z), devicez.device) bins torch.chunk(order, n_bins) for b in bins: if len(b) 0: continue for c in labels.unique(): mask labels[b] c cnt mask.sum().item() if cnt 0: # 类别在箱内越少权重越大抵消类别-特征的相关 weights[b[mask]] 1.0 / cnt weights weights / weights.mean() return weights.clamp(minclip, max1.0 / clip)这段代码是思路演示不是稳定学习的原版算法但抓住了核心把「特征取值」和「标签分布」的共同结构拆开通过重加权让两者在统计上接近独立。n_bins控制分箱粒度太小粗、太大噪声重50 是个起点clip防止个别样本权重爆炸0.1 到 10 的区间在多数任务上够用。这条路不需要域标签代价是你拿不到 worst-case 保证——它优化的是全局的稳定性不是某个特定域的表现。4.4 三者叠加的边界三类方法能不能一起上能但要讲究顺序和预算。我的做法是先跑 ERM 和 GroupDRO 两个基线因为 GroupDRO 只需要改损失加权接入成本最低、收益最直接。IRM 的惩罚项和 GroupDRO 的权重更新可以共存代价是超参从两个变成四个lambda、anneal 步数、eta、是否加熵正则调参预算会翻倍。稳定学习的样本加权最好放在最后因为它需要中间层特征实现上要改训练循环而且和 IRM 的梯度惩罚存在一定冲突——两者都在约束特征的统计性质叠加时容易出现训练不稳定。综述在理论联系那一节明确指出不同类别方法在因果视角下可以统一但统一的是目标不是实现。落到工程上我建议一次只加一个组件每次记录 avg 和 worst 两个数字只有 worst 涨了才保留。5. 避坑清单OOD 实验里五个让人白跑一周的地方下面五条都是我在复现 OOD 评测协议时真金白银踩过的按「现象→原因→解决」写顺序基本对应从数据到结论的流程。5.1 数据划分与预处理层的两个坑坑一测试域准确率虚高。现象是 ERM 基线在留一法上跑到 0.85 以上比公开报告高出一大截但人工抽查发现模型对测试域的样本几乎都在猜大类。原因是划分文件按文件名生成时用了glob的默认顺序训练和测试的 csv 之间出现了重叠样本同一张图既在训练又在测试里。解决方式是每次生成划分文件后跑一遍去重校验比较训练集和测试集的路径集合交集为空才继续同时把划分文件本身纳入版本管理不要每次运行时重新生成。坑二归一化统计量泄漏。现象是所有方法都比预期好且方法之间的差距被抹平。原因是预处理均值方差在合并全部域之后统计的等于把测试域的信息提前泄露给了训练流程。解决方式是把统计量计算封装成独立脚本只接受训练域路径列表输出 json 存盘训练和测试都用这一份测试阶段禁止任何重新统计。5.2 训练与调参层的两个坑坑三IRM 训练损失正常但准确率不动。现象是前十个 epoch 损失掉得很快之后一直平测试域准确率和 ERM 完全一样。原因有两个可能一是惩罚项写了但没加进反传拼 loss 的时候用了detach()或者忘记乘权重二是 warmup 步数设得比总步数还长惩罚从头到尾没生效。解决方法是训练日志里单独打印惩罚项的数值正常情况下它应该在 warmup 结束后从 0 开始上升然后趋于平稳如果一直是 0就是代码链路断了不是算法无效。坑四GroupDRO 权重塌缩到单一域。现象是训练几十步后 (q) 里某一项接近 1模型开始只在那个域上优化其余域的损失持续上升。原因是 eta 设得太大或者某个域样本量远小于其他域、单步损失天然偏高导致它被过度放大。解决方法是把 eta 降到 0.01并给 (q) 加一个下界比如每项不低于 0.05保证每次更新后各域至少分到一点梯度。5.3 评测与结论层的一个坑坑五只报最好一次结果。现象是你自己复现的表里某个方法比别人报告的高两个点但换种子就掉回去。原因是 OOD 实验的种子方差比 i.i.d. 场景大得多数据量小、域差异大时尤其明显单次结果没有统计意义。解决方式是固定跑三个以上种子报均值和标准差并且把「最差域准确率」作为主要结论指标而不是平均值。我现在的习惯是任何要写进报告的数字至少有三个种子的记录在案否则只能算观察不能算结论。6. 把综述用成工程习惯一份可复用的 OOD 自检表综述这类材料容易读完就忘因为它给的是地图不是路线。我的用法是把它压缩成一张每次开新任务都要过一遍的表下面这张就是我现在用的版本左列是检查项中间是怎么查右列是不过关时的典型后果检查项怎么查不过关的后果分布偏移类型明确是协变量偏移、标签偏移还是概念偏移方法选错等于对着空气调参域标签是否可用检查数据采集日志确认批次/站点字段只能用样本加权损失 worst-case 保证划分是否隔离训练测试路径交集为空、归一化只看训练域指标虚高结论全废基线是否调够ERM 至少在三个种子上稳定后续提升可能只是基线没调好指标是否双轨同时记录 avg 与 worst被平均值骗模型在短板域上崩了也不知道除开表格还有一个我现在固定会做的动作把综述里提到的理论联系当作「假设清单」而不是结论。比如不变性学习假设存在跨环境不变的最优分类器DRO 假设测试分布落在以训练分布为中心的某个球内——这些假设在你自己的数据上成立不成立得靠实验验证。验证方式很土但有效构造一个人工的分布偏移换光照、加噪声、改变类别先验看方法在这种可控偏移下是否比 ERM 更稳如果连可控偏移都扛不住那在真实偏移上的提升基本是运气。最后补一个技巧。综述里给出的 benchmark 列表我一般会按「域数量 × 类别数 × 单域样本量」算一个粗略难度分优先选域多、类别少、单域样本少的数据集做早期验证因为这种配置下域间差异最容易暴露方法行不行几轮就能看出来反过来类别多、单域样本大的数据集适合在方法定型后做最终确认。这个排序不是综述里写的是我被大 benchmark 拖慢过进度之后自己定下来的规矩。从那以后我每次开一个 OOD 相关的实验前都会先花半小时把上面那张自检表填完填不满就不写代码——因为血泪经验告诉我省掉的这半小时后面通常要用一周来还。希望帮到你。本文还有配套的精品资源点击获取
简介清华大学崔鹏等学者撰写的《分布外泛化综述》PDF面向深度学习研究者、研究生与算法工程师系统回应训练与测试分布不一致时模型性能骤降的问题。全文从OOD泛化的形式化定义出发按学习流程将方法归为无监督表示学习、监督模型学习与优化策略三类并讨论因果推理、不变性学习、稳定学习的理论联系以及常用数据集和评估指标。压缩包共1个PDF文件约5.34MB便于检索、批注和离线阅读。已有2740人学习下载适合作为课题入门、论文写作与算法选型的参考。读者可借此快速建立从问题定义、方法分类到评价体系的完整框架理解分布鲁棒优化等思路定位代表性工作与术语线索并依据文末总结的未来方向规划研究减少在非独立同分布场景中的盲目试错。1. 从 i.i.d. 失效说起一篇把三条方法线串起来的 OOD 综述上个月有人把图像分类模型拿给我看训练集上准确率能到 96换一个拍摄设备采集的测试集准确率立刻掉到 71。他的第一反应是过拟合加了 dropout、把 weight decay 调大结果基本没有变化。这是标准的分布外泛化场景——训练分布和测试分布不满足独立同分布模型学到了大量在训练集里成立、换环境就失效的相关性性能下降是必然的。2021 年挂上预印本平台的那篇 OOD 综述arXiv:2108.13624做的正是这件事把分布外泛化从形式化定义、方法分类、理论联系一路梳理到评测协议和开放问题并且按方法在训练流水线上的位置分成表示学习、模型学习、优化三条支线。它适合两类人被 distribution shift 反复困扰、需要一套可复现评测流程的算法工程师以及要写开题报告、需要一张方法地图的研究生。下面按「先读哪、再搭什么、最后怎么验」的顺序拆。2. 拆解方法地图三类 OOD 方法在训练流水线上的坐标这篇综述最有价值的地方在于分类方式它先承认一件事即 OOD 泛化在没有任何假设时是不可解的。测试分布 (P_{te}(X,Y)) 在训练阶段未知且与 (P_{tr}(X,Y)) 不同你不可能对一个完全未知的目标做优化。因此所有方法本质上都在做同一件事往问题里注入某种先验把「未知的测试分布」压缩成一个可以被约束的集合。协变量偏移(P_{tr}(Y|X)P_{te}(Y|X))只有 (P(X)) 变是最常见也研究最透的一类绝大多数 benchmark 都建在这个假设上。理解了这条前提再看后面的方法分类就不会觉得是在罗列名词。2.1 三个坐标表示、模型、优化综述把标准监督学习问题拆成三个相对独立的部件特征表示 (g(X))、从特征到标签的映射 (f_\theta)也就是模型结构和归纳偏置、以及优化目标的构造方式。三类 OOD 方法正好一一对应第一类是无监督表示学习动的是 (g(X))。它用解耦表示disentangled representation或因果表示causal representation把人关于「哪些因子应该独立、哪个因子是因果的」的先验写进表示学习过程希望学出来的特征本身就对分布变化不敏感。典型手段是 VAE 系的变分贝叶斯框架通过约束隐变量的独立性和语义对齐让模型把「物体形状」和「背景纹理」分开。第二类是有监督模型学习动的是 (f_\theta) 和学习策略。它包含因果学习、稳定学习和领域泛化三条子线。领域泛化的思路最工程化训练时给多个源域要求模型在这些域上同时表现好因果学习试图恢复 (X) 与 (Y) 之间的因果结构把虚假相关剪掉稳定学习则从样本重加权的角度出发通过去相关让模型对选择偏置selection bias鲁棒。第三类是针对优化目标的改造动的是损失函数本身。分布鲁棒优化DRO把训练目标从「平均损失最小」换成「最坏情况下的损失最小」在人为构造的分布球内做 min-max不变性优化IRM 系则直接惩罚「不同环境下最优分类器不一致」这件事。这个划分的好处是它天然可组合你完全可以在一个 ResNet 主干上同时加解耦正则、IRM 惩罚和 GroupDRO 的权重更新三者不冲突因为它们作用在流水线的不同位置。反过来说如果你只改其中一个位置却期待质变大概率会失望——这也是后面避坑章节里要反复提到的。2.2 一张对照表决定你从哪篇切入综述正文覆盖的方法很多但落到「我这周要动手」其实只需要先判断自己手上的数据长什么样。下面这张表是我按综述的三分法重排的选型参考前三列对应综述里的分类第四列是「你需要额外准备什么」最后一列是我在实际项目里的取舍经验方法类别代表思路改动位置额外需要的东西什么时候优先选无监督表示学习解耦表示、因果表示特征提取器 (g(X))较强的结构先验、较大数据量有明确因子语义姿态、光照、背景且愿意做生成式建模监督模型学习领域泛化、因果学习、稳定学习模型结构与训练策略多源域标签稳定学习还需样本级协变量有多个采集批次/站点域标签齐全这是最实用的入口优化DRO、不变性优化损失函数与优化器域标签 可调的超参预算基线已跑通想把 worst-case 指标再推几个点如果只有单源域、没有域标签前两类基本用不了只能退到稳定学习那种靠样本重加权近似去相关的路子效果通常不如多域设定稳。这点综述里讲得比较克制但实际动手的人一定要提前认清。2.3 最小可跑骨架先把数据协议钉死我见过太多人一上来就抄 IRM 的损失函数改完发现指标没动最后排查半天发现是数据划分写错了——测试域混进了训练集或者预处理在划分之前做了全局归一化。综述里专门用一节讲评测原因就在这里OOD 实验里数据协议的重要性高于算法本身。我一般会先把目录和文件固定成下面这个样子再谈模型ood_bench/ ├── data/ │ ├── PACS/ │ │ ├── art/ cartoons/ photo/ sketch/ │ └── splits/ │ ├── pacs_art.csv # filepath,label,domain │ ├── pacs_cartoons.csv │ ├── pacs_photo.csv │ └── pacs_sketch.csv ├── src/ │ ├── data.py # Dataset 与 DataLoader │ ├── metrics.py # 指标 │ ├── losses.py # IRM / GroupDRO │ └── train.py └── runs/ # 每次实验一个目录存 config 和日志划分文件用「一行一个样本」的 csv字段固定为路径、标签、域。每做一次留一法实验就是把其中一个 csv 当成测试集、其余三个当训练集这个映射关系写死在配置里不要靠代码里的 if-else 临时判断。预处理参数均值方差、裁剪尺寸必须只在训练域上统计然后原样应用到测试域——这一条看起来是常识但它在复现 OOD 结果时是最常见的出错点之一因为大部分人习惯直接调transforms.Normalize(mean[0.485,...])虽然 ImageNet 统计量在 PACS 上问题不大一旦换成自采数据就会出问题。3. 复现评测协议PACS 四域留一法与最差域准确率这一章把「能跑起来」这件事做完整。PACS 是 OOD 领域泛化最常用的入口数据集之一四个域艺术画、卡通、照片、素描、七个类别、总量不到一万张单卡几十分钟能跑完一轮非常适合验证代码链路是否正确。综述里提到的 VLCS、Office-Home、DomainNet、TerraIncognita 协议大同小异把划分文件换掉即可。3.1 领域留一法与 DataLoader先写数据层。关键点有两个一是每个域单独一个Dataset实例保证域标签不会在拼接时丢失二是训练域之间要能独立采样因为 IRM 和 GroupDRO 都需要按域计算损失。import csv from pathlib import Path from PIL import Image from torch.utils.data import Dataset, DataLoader from torchvision import transforms class DomainDataset(Dataset): def __init__(self, csv_path, root, transformNone): self.root Path(root) self.transform transform self.items [] with open(csv_path, newline) as f: for row in csv.DictReader(f): # 每条记录保留 domain 字段后面按域聚合损失要用 self.items.append((row[filepath], int(row[label]), row[domain])) def __len__(self): return len(self.items) def __getitem__(self, idx): rel, label, domain self.items[idx] img Image.open(self.root / rel).convert(RGB) if self.transform: img self.transform(img) return img, label, domain def build_train_transform(img_size224): # 只用训练域统计出的均值方差不要拿测试域参与 return transforms.Compose([ transforms.RandomResizedCrop(img_size, scale(0.7, 1.0)), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) def build_loaders(split_dir, root, test_domain, batch_size32, num_workers4): all_domains [art, cartoons, photo, sketch] train_domains [d for d in all_domains if d ! test_domain] tf build_train_transform() # 每个训练域一个 loader长度取最大值训练时用 round-robin 取 batch train_loaders [ DataLoader(DomainDataset(f{split_dir}/pacs_{d}.csv, root, tf), batch_sizebatch_size, shuffleTrue, num_workersnum_workers, drop_lastTrue) for d in train_domains ] test_tf transforms.Compose([ transforms.Resize((224, 224)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]), ]) test_loader DataLoader( DomainDataset(f{split_dir}/pacs_{test_domain}.csv, root, test_tf), batch_size64, shuffleFalse, num_workersnum_workers) return train_loaders, test_loader这段代码的逻辑是每个训练域一个DataLoader返回的 batch 里带上domain字段供后续按域计算损失和更新权重使用。drop_lastTrue是为了让每个域在同一个 step 里都有完整 batch否则 IRM 的惩罚项在不同域 batch 大小不一致时会失真。build_train_transform里的RandomResizedCrop尺度我设在 0.7 到 1.0比默认的 0.08 保守——OOD 场景下过度激进的数据增强会掩盖域间差异反而让方法之间的对比失去意义。测试集只做 resize 和中心化不做任何随机增强这是评测一致性的底线。3.2 两个指标平均准确率与最差域准确率OOD 评测不能只看测试域的单一准确率因为它不告诉你模型是「在某个域上崩了」还是「所有域都平平」。综述推荐的报告方式是给出一组域上的平均准确率和最差域准确率前者看整体后者看短板。import torch torch.no_grad() def evaluate(model, loader, device): model.eval() correct total 0 for x, y, _ in loader: x, y x.to(device), y.to(device) pred model(x).argmax(dim1) correct (pred y).sum().item() total y.numel() return correct / max(total, 1) def report(acc_dict): # acc_dict: {art: 0.81, cartoons: 0.72, ...} vals list(acc_dict.values()) avg sum(vals) / len(vals) worst min(vals) gap avg - worst print(favg_acc{avg:.4f} worst_acc{worst:.4f} gap{gap:.4f}) return {avg: avg, worst: worst, gap: gap}evaluate只返回单个域的准确率report负责聚合。三个指标里avg用于和其他论文对比worst用于判断方法是否真的改善了鲁棒性gap是我自己加的——它衡量各域之间的一致性gap 变小往往说明模型在往「学到域不变特征」的方向走比单看平均值更能提前发现趋势。这里有个经验如果某个方法把 avg 提了 1 个点但 worst 掉了 2 个点那它大概率是靠拟合多数域在刷分不值得跟进。3.3 ERM 基线跑通与结果解读在碰任何 OOD 方法之前必须把 ERM 基线跑出稳定数字。ERM 就是最朴素的经验风险最小化综述里反复强调它作为对照的地位——很多论文报告的提升其实是没调好基线导致的。import torch from torch import nn, optim from torchvision.models import resnet18 def train_erm(train_loaders, test_loader, device, epochs30, lr1e-3): model resnet18(weightsNone, num_classes7).to(device) opt optim.Adam(model.parameters(), lrlr, weight_decay5e-4) sched optim.lr_scheduler.CosineAnnealingLR(opt, T_maxepochs) crit nn.CrossEntropyLoss() iters [iter(l) for l in train_loaders] for ep in range(epochs): model.train() for step in range(min(len(l) for l in train_loaders)): # round-robin每个 step 从每个训练域各取一个 batch 合并 xs, ys [], [] for i, it in enumerate(iters): try: x, y, _ next(it) except StopIteration: iters[i] iter(train_loaders[i]) x, y, _ next(iters[i]) xs.append(x); ys.append(y) x torch.cat(xs).to(device) y torch.cat(ys).to(device) loss crit(model(x), y) opt.zero_grad(); loss.backward(); opt.step() sched.step() if (ep 1) % 5 0: acc evaluate(model, test_loader, device) print(fepoch{ep1} test_acc{acc:.4f}) return model训练循环里用的是 round-robin 采样每个 step 从每个训练域各取一个 batch 然后拼接。这个设计不是 ERM 必需的但它让后续接入 IRM 和 GroupDRO 时不需要重写循环——那两个方法本来就要求 batch 按域可分离。如果你直接用ConcatDataset混采样域信息会在 batch 内部被打散接方法时就得回头返工。weight_decay5e-4和余弦退火是 PACS 上比较通用的配置epochs30足够看出趋势正式跑对比实验时我会拉到 50 并跑三个种子取均值。ERM 在 PACS 留一法上的 avg 一般在 0.75 到 0.80 区间波动具体取决于种子和增强强度如果你跑出来只有 0.6 出头先别怀疑算法回头查划分文件和归一化。4. 落到训练细节IRM 惩罚项、DRO 权重更新与样本加权基线稳定之后才轮到方法本身。这一章把综述里三类方法中最具工程可操作性的几个实现拆开讲重点不是公式推导而是「写在哪、参数怎么调、什么时候该放弃」。4.1 IRMv1 惩罚项写在哪一层、λ 怎么扫不变风险最小化IRM的核心主张是存在一个特征表示使得在每个环境上基于该表示的最优分类器都相同。工程上最常用的是 IRMv1 的近似形式它把惩罚项加在分类头的输出上通过对手写一个标量乘子并对它求梯度来近似不变性约束。def irm_penalty(logits, y, crit): # 对手写标量 scale 求梯度衡量「分类头整体缩放」对损失的影响 scale torch.tensor(1.0, devicelogits.device, requires_gradTrue) loss crit(logits * scale, y) grad torch.autograd.grad(loss, [scale], create_graphTrue)[0] return torch.sum(grad ** 2) def train_irm(train_loaders, test_loader, device, epochs30, lr1e-3, irm_lambda1e2, irm_anneal_iters200): model resnet18(weightsNone, num_classes7).to(device) opt optim.Adam(model.parameters(), lrlr, weight_decay5e-4) crit nn.CrossEntropyLoss() iters [iter(l) for l in train_loaders] step 0 for ep in range(epochs): model.train() for _ in range(min(len(l) for l in train_loaders)): xs, ys [], [] for i, it in enumerate(iters): try: x, y, _ next(it) except StopIteration: iters[i] iter(train_loaders[i]) x, y, _ next(iters[i]) xs.append(x); ys.append(y) erm_loss, pen 0.0, 0.0 for x, y in zip(xs, ys): x, y x.to(device), y.to(device) logits model(x) erm_loss erm_loss crit(logits, y) pen pen irm_penalty(logits, y, crit) # 前 warmup 步只跑 ERM让表示先有基本判别力再逐步加惩罚 weight irm_lambda if step irm_anneal_iters else 0.0 loss erm_loss weight * pen opt.zero_grad(); loss.backward(); opt.step() step 1 if (ep 1) % 5 0: print(fepoch{ep1} test_acc{evaluate(model, test_loader, device):.4f}) return modelirm_penalty的实现对应 IRMv1 的做法固定分类器参数、只对一个全局缩放因子求导梯度平方和作为惩罚。这里有两个参数必须说清楚。irm_lambda控制惩罚强度PACS 上常用 1e2 到 1e3 的量级太小等于没加太大会让模型退化成常数输出、准确率直接掉到随机水平我一般先固定 1e2 跑通再在 1e2、5e2、1e3 三个点上扫。irm_anneal_iters是 warmup 步数前 200 步只跑普通损失这是综述里也提到的实践技巧——表示还没学出基本判别力时加不变性约束梯度会被惩罚项主导训练直接崩。判断是否生效的标准是训练损失正常下降测试域 worst_acc 相对 ERM 有小幅提升通常一两个点如果 avg 掉超过三个点先把 lambda 降一个数量级。4.2 GroupDROq 的指数更新与熵正则分布鲁棒优化的思路是给每个训练域分配一个权重 (q_e)然后最小化加权后的最坏情况损失。权重不是固定的而是随着训练动态调整哪个域的损失大权重就往哪边偏。class GroupDRO: def __init__(self, n_groups, eta0.01, devicecuda): self.q torch.ones(n_groups, devicedevice) / n_groups self.eta eta self.device device def update(self, per_group_loss): # per_group_loss: list[scalar]每个训练域一个 with torch.no_grad(): loss_vec torch.stack(per_group_loss) self.q self.q * torch.exp(self.eta * loss_vec.detach()) self.q self.q / self.q.sum() # 归一化保持概率单纯形 return self.q def weighted_loss(self, per_group_loss): loss_vec torch.stack(per_group_loss) return torch.sum(self.q * loss_vec)q的更新用的是指数加权eta控制调整速度常用 0.01 到 0.1。太小则权重几乎不动退化成均匀平均太大则训练初期就被某个难域带偏模型只在那个域上优化。我一般从 0.01 起看训练日志里q的分布是否在合理范围内波动——如果某一项很快逼近 1.0说明 eta 太大或者该域本身有问题比如样本量只有其他域的十分之一。这里有个细节update里对损失做了detach()但weighted_loss里用的是原始损失梯度能正常回传。如果误把 detach 后的向量传进加权损失梯度就断了训练看起来正常但模型完全不更新这种 bug 排查起来非常费时间。综述在 DRO 部分还提到一个改进方向在超参数不确定时同时做 min-max以及给 (q) 加熵正则避免过度集中。熵正则的实现是在更新后对 (q) 做一次软混合比如 (q \leftarrow (1-\alpha)q \alpha \cdot \text{uniform})(\alpha) 取 0.05 左右。这个改动在域数量少比如四个域时效果不明显域数上到六七个以后能明显稳住训练。4.3 稳定学习式样本加权不需要域标签的那条路前面两类方法都要求域标签。现实中更常见的情况是数据来自多个批次但批次信息没记录或者记录得不完整。稳定学习那一路的做法是从样本层面去相关对每个样本算一个权重使得加权后特征之间的相关性被压到接近零从而削弱虚假相关。综述里描述的典型流程分两步先对特征做随机傅里叶变换或者直接算全局协方差然后对每个样本求一个权重让加权协方差矩阵的非对角元趋近于零。工程上有一个简化版本可以先用起来——按特征聚类做分层重加权把每个簇的样本权重调成与标签分布无关。def sample_reweight(feats, labels, n_bins50, clip0.1): # feats: [N, D]模型中间层特征labels: [N] # 简化做法按特征第一主成分分箱再在每箱内做类别均衡 z feats[:, 0] order torch.argsort(z) weights torch.ones(len(z), devicez.device) bins torch.chunk(order, n_bins) for b in bins: if len(b) 0: continue for c in labels.unique(): mask labels[b] c cnt mask.sum().item() if cnt 0: # 类别在箱内越少权重越大抵消类别-特征的相关 weights[b[mask]] 1.0 / cnt weights weights / weights.mean() return weights.clamp(minclip, max1.0 / clip)这段代码是思路演示不是稳定学习的原版算法但抓住了核心把「特征取值」和「标签分布」的共同结构拆开通过重加权让两者在统计上接近独立。n_bins控制分箱粒度太小粗、太大噪声重50 是个起点clip防止个别样本权重爆炸0.1 到 10 的区间在多数任务上够用。这条路不需要域标签代价是你拿不到 worst-case 保证——它优化的是全局的稳定性不是某个特定域的表现。4.4 三者叠加的边界三类方法能不能一起上能但要讲究顺序和预算。我的做法是先跑 ERM 和 GroupDRO 两个基线因为 GroupDRO 只需要改损失加权接入成本最低、收益最直接。IRM 的惩罚项和 GroupDRO 的权重更新可以共存代价是超参从两个变成四个lambda、anneal 步数、eta、是否加熵正则调参预算会翻倍。稳定学习的样本加权最好放在最后因为它需要中间层特征实现上要改训练循环而且和 IRM 的梯度惩罚存在一定冲突——两者都在约束特征的统计性质叠加时容易出现训练不稳定。综述在理论联系那一节明确指出不同类别方法在因果视角下可以统一但统一的是目标不是实现。落到工程上我建议一次只加一个组件每次记录 avg 和 worst 两个数字只有 worst 涨了才保留。5. 避坑清单OOD 实验里五个让人白跑一周的地方下面五条都是我在复现 OOD 评测协议时真金白银踩过的按「现象→原因→解决」写顺序基本对应从数据到结论的流程。5.1 数据划分与预处理层的两个坑坑一测试域准确率虚高。现象是 ERM 基线在留一法上跑到 0.85 以上比公开报告高出一大截但人工抽查发现模型对测试域的样本几乎都在猜大类。原因是划分文件按文件名生成时用了glob的默认顺序训练和测试的 csv 之间出现了重叠样本同一张图既在训练又在测试里。解决方式是每次生成划分文件后跑一遍去重校验比较训练集和测试集的路径集合交集为空才继续同时把划分文件本身纳入版本管理不要每次运行时重新生成。坑二归一化统计量泄漏。现象是所有方法都比预期好且方法之间的差距被抹平。原因是预处理均值方差在合并全部域之后统计的等于把测试域的信息提前泄露给了训练流程。解决方式是把统计量计算封装成独立脚本只接受训练域路径列表输出 json 存盘训练和测试都用这一份测试阶段禁止任何重新统计。5.2 训练与调参层的两个坑坑三IRM 训练损失正常但准确率不动。现象是前十个 epoch 损失掉得很快之后一直平测试域准确率和 ERM 完全一样。原因有两个可能一是惩罚项写了但没加进反传拼 loss 的时候用了detach()或者忘记乘权重二是 warmup 步数设得比总步数还长惩罚从头到尾没生效。解决方法是训练日志里单独打印惩罚项的数值正常情况下它应该在 warmup 结束后从 0 开始上升然后趋于平稳如果一直是 0就是代码链路断了不是算法无效。坑四GroupDRO 权重塌缩到单一域。现象是训练几十步后 (q) 里某一项接近 1模型开始只在那个域上优化其余域的损失持续上升。原因是 eta 设得太大或者某个域样本量远小于其他域、单步损失天然偏高导致它被过度放大。解决方法是把 eta 降到 0.01并给 (q) 加一个下界比如每项不低于 0.05保证每次更新后各域至少分到一点梯度。5.3 评测与结论层的一个坑坑五只报最好一次结果。现象是你自己复现的表里某个方法比别人报告的高两个点但换种子就掉回去。原因是 OOD 实验的种子方差比 i.i.d. 场景大得多数据量小、域差异大时尤其明显单次结果没有统计意义。解决方式是固定跑三个以上种子报均值和标准差并且把「最差域准确率」作为主要结论指标而不是平均值。我现在的习惯是任何要写进报告的数字至少有三个种子的记录在案否则只能算观察不能算结论。6. 把综述用成工程习惯一份可复用的 OOD 自检表综述这类材料容易读完就忘因为它给的是地图不是路线。我的用法是把它压缩成一张每次开新任务都要过一遍的表下面这张就是我现在用的版本左列是检查项中间是怎么查右列是不过关时的典型后果检查项怎么查不过关的后果分布偏移类型明确是协变量偏移、标签偏移还是概念偏移方法选错等于对着空气调参域标签是否可用检查数据采集日志确认批次/站点字段只能用样本加权损失 worst-case 保证划分是否隔离训练测试路径交集为空、归一化只看训练域指标虚高结论全废基线是否调够ERM 至少在三个种子上稳定后续提升可能只是基线没调好指标是否双轨同时记录 avg 与 worst被平均值骗模型在短板域上崩了也不知道除开表格还有一个我现在固定会做的动作把综述里提到的理论联系当作「假设清单」而不是结论。比如不变性学习假设存在跨环境不变的最优分类器DRO 假设测试分布落在以训练分布为中心的某个球内——这些假设在你自己的数据上成立不成立得靠实验验证。验证方式很土但有效构造一个人工的分布偏移换光照、加噪声、改变类别先验看方法在这种可控偏移下是否比 ERM 更稳如果连可控偏移都扛不住那在真实偏移上的提升基本是运气。最后补一个技巧。综述里给出的 benchmark 列表我一般会按「域数量 × 类别数 × 单域样本量」算一个粗略难度分优先选域多、类别少、单域样本少的数据集做早期验证因为这种配置下域间差异最容易暴露方法行不行几轮就能看出来反过来类别多、单域样本大的数据集适合在方法定型后做最终确认。这个排序不是综述里写的是我被大 benchmark 拖慢过进度之后自己定下来的规矩。从那以后我每次开一个 OOD 相关的实验前都会先花半小时把上面那张自检表填完填不满就不写代码——因为血泪经验告诉我省掉的这半小时后面通常要用一周来还。希望帮到你。本文还有配套的精品资源点击获取
