简介一份基于人工神经网络的插值示例压缩包面向需要构建代理模型的仿真优化与数据建模场景适用于神经网络初学者及需要快速近似复杂函数的工程人员。压缩包内仅含1个MATLAB脚本.m大小1KB代码紧凑且可运行完整演示从训练数据准备、网络结构定义、参数初始化、前向传播、损失计算、反向传播到测试验证的插值拟合流程。通过该示例读者可掌握用多层感知机拟合离散点、以均方误差衡量误差并用梯度下降更新权重的核心方法并能方便地将代码修改为自定义输入替代昂贵仿真或加速优化迭代。脚本结构清晰、便于研读默认网络包含输入层、隐藏层与输出层可按需调整层数与节点数适应不同复杂度问题。目前已有190人学习下载适合用于理解代理模型与神经网络插值的基本原理。1. ANN代理模型与插值当单次仿真要跑三小时做优化的人都遇到过这种情况结构强度分析跑一次有限元要一两个小时流体仿真按工况算还要排队而优化算法动辄要评估上千组参数。把每一个点都交给仿真器预算和工期都撑不住。于是大家把做过的样本收集起来训练一个神经网络让它学会输入参数和输出响应之间的映射后续的评估全部交给这个网络只在必要时用真仿真复核。这个网络就是标题里说的 ANN 代理模型也是参数优化和性能预测里最常见的加速手段。这里先把“插值”两个字说清楚。神经网络代理模型对未知点的预测本质上是近似不是严格意义上的插值。Kriging、径向基函数这类方法要求响应面穿过每个样本点神经网络走的是最小化均方误差的路预测值会落在样本点附近但并不保证完全经过。这个差别不是坏事仿真数据本身带有数值噪声时强令曲面穿过每个点反而会把噪声也学进去。理解了这一点后面选模型、看误差指标才不会拧巴。下面从样本设计讲起给出一条用 PyTorch 训练全连接神经网络做近似插值的完整路径覆盖网络结构、归一化、早停和验证最后一节给一个我常用的留一法检验技巧。2. 神经网络代理模型的数学定位插值与回归之间2.1 经典插值方法在高维与噪声面前的局限先看传统插值是怎么工作的。Kriging 假设响应是一个高斯过程实现用样本点间的协方差结构做最优无偏估计在样本点处残差为零属于严格插值RBF 插值用一组基函数的加权叠加去穿过全部样本点。这两种方法在小样本、低维、无噪声的场景下非常漂亮几十到几百个样本的工程问题也常用。但它们的短板同样明显。Kriging 需要求解并分解一个 N×N 的协方差矩阵N 涨到几千时计算量接近立方增长径向基神经网络常说的 RBF 网络的基函数中心和宽度依赖经验设定中心点一多样本稀疏区就会抖出大振幅。更重要的是这两类方法对噪声敏感——仿真网格收敛不充分、试验测量带误差时严格插值等于把噪声一并记住响应面出现不自然的起伏优化算法沿着这种起伏找极值很容易跑偏。工程里常用的响应面建模方法可以放在一起对比方法是否严格穿过样本点对噪声容忍度适合输入维度典型场景Kriging是低≤ 10低维小样本、追求高精度RBF 插值是低≤ 10散点数据插值、网格变形多项式响应面否中≤ 5快速粗糙建模ANN 代理模型近似高550中高维、样本量大、多输出这里的“近似”恰恰是优势。输入维度升到 10 以上、样本量过千时Kriging 的计算和调参成本都会失控而全连接神经网络可以用 mini-batch 训练规模上去之后的边际成本低得多。2.2 神经网络如何把插值问题改写成最小二乘一个标准的前馈神经网络也叫 BP 神经网络因为参数靠反向传播训练做的事情是输入向量 x 经过若干隐藏层的线性变换加非线性激活输出 y_pred然后拿 y_pred 与仿真结果 y_true 的均方误差作为损失做反向传播。优化目标是 min θ ‖y_true − f(x, θ)‖²。这个目标里没有“必须经过样本点”的约束所以网络学到的是一条在整体意义下最贴近样本的曲面。样本点密集处预测误差趋近于零样本稀疏处靠相邻样本平滑过渡——这就是代理模型里“近似插值”的工程含义。如果数据没有噪声、网络又足够宽深度学习理论里有一些结论显示网络可以把训练损失压到接近零达到“记住所有样本”的插值状态。但代理模型通常不需要这个状态因为工程仿真输出往往含数值误差刻意保留一点回归余量反而更稳。另一个优势是多输出应力、变形、温度几个响应放在同一个网络末尾输出共享隐藏层特征样本利用效率比每个响应单独建模高。2.3 样本设计用拉丁超立方采样铺满输入空间代理模型的质量一半取决于训练数据。样本不能随手抓最好按试验设计DOE的思路铺满输入空间。常见做法是用拉丁超立方采样LHS或 Sobol 序列它们比纯随机抽样更均匀在输入维度不高时能明显减少样本点扎堆的概率。import numpy as np from scipy.stats import qmc bounds np.array([ [0.5, 2.0], # 几何参数厚度比 [10.0, 60.0], # 工况参数来流角度 [50.0, 300.0] # 材料参数弹性模量 ]) n_samples 200 sampler qmc.LatinHypercube(d3, seed42) unit_samples sampler.random(nn_samples) design qmc.scale(unit_samples, bounds[:, 0], bounds[:, 1])先用qmc.LatinHypercube在 [0,1]³ 空间生成均匀样本再用qmc.scale把每一列映射到真实的物理边界。seed42保证重跑得到同一批样本设计迭代时不会因为采样变化干扰方案对比。n_samples的经验范围是输入维度的 40100 倍先取 200 跑通流程精度不够再补样本。仿真算完拿到数据后按 70/15/15 切成训练、验证、测试三份测试集在训练过程中完全不碰最后才用来评估代理模型的插值精度。3. 用 PyTorch 搭建神经网络代理模型结构、训练与验证3.1 隐藏层宽度、激活函数与网络规模的边界代理模型的输入输出都是连续数值不需要卷积或注意力结构全连接神经网络就够了。网络层数不是越深越好输入维度通常不到 20两层隐藏层就可以逼近大多数工程响应面再加层数容易过拟合训练时间也往上走。隐藏层宽度常规取 16128一个能用的经验公式是输入维度的两倍再加一点余量比如输入 5 个参数隐藏层取 3264 比较合适。激活函数的选择直接影响响应面的光滑性。ReLU 训练快但分段线性输出对输入的导数不连续如果代理模型后面要接梯度优化或灵敏度分析我更常用 tanh它的导数处处连续响应面更平滑代价只是训练略慢。输出层不加激活让网络可以输出任意范围的值配合后续逆归一化还原真实量纲。import torch import torch.nn as nn class ANNSurrogate(nn.Module): def __init__(self, n_in, n_out, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(n_in, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, n_out) ) def forward(self, x): return self.net(x)这段代码定义了两层隐藏层、每层 64 个节点的结构n_in是输入参数个数n_out是响应个数forward 里没有额外逻辑。模型整体可导之后要用 autograd 算 ∂y/∂x 做灵敏度分析时直接对输入求导即可。3.2 学习率、batch size 与早停参数怎么设样本量几千以内的代理模型batch size 直接取全量梯度更稳定收敛曲线也更干净样本过万再考虑 mini-batch。优化器默认 Adam初始学习率 1e-3配合验证集上的早停基本能覆盖大多数问题。早停的机制是每个 epoch 结束后算一次验证集损失如果连续 patience 个 epoch 没有刷新历史最低值就回滚到历史最优权重并停止训练。这样既防过拟合又省去手动数轮数。def train_surrogate(model, X, y, X_val, y_val, lr1e-3, epochs2000, patience80): optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.MSELoss() best_val float(inf) best_state None wait 0 for epoch in range(epochs): model.train() optimizer.zero_grad() pred model(X) loss loss_fn(pred, y) loss.backward() optimizer.step() model.eval() with torch.no_grad(): val_loss loss_fn(model(X_val), y_val).item() if val_loss best_val: best_val val_loss best_state {k: v.clone() for k, v in model.state_dict().items()} wait 0 else: wait 1 if wait patience: break model.load_state_dict(best_state) return best_valX和y在进模型前必须是 FloatTensor 且已经归一化。patience80对多数问题够用损失曲线波动大时可以加到 150。训练结束时把验证集上最优的权重导回模型这个 checkpoint 就是最终代理模型。这里没有叠加 ReduceLROnPlateau因为早停已经把收敛判断接住了两者同用反而容易在验证损失平台期降低学习率导致权重始终停在较差位置。注意验证集只用来挑选最优权重不能参与梯度更新测试集从头到尾不能碰否则后面所有误差指标都会虚低。3.3 验证插值精度的三个指标模型训完先看验证集上的三个数再谈上线。以下代码在前向预测后计算 R²、相对 RMSE 和最大相对误差from sklearn.metrics import r2_score, mean_squared_error import numpy as np pred model(X_test).detach().numpy() y_true y_test.numpy() r2 r2_score(y_true, pred) rmse mean_squared_error(y_true, pred, squaredFalse) rel_rmse rmse / np.std(y_true) max_rel_err np.max(np.abs((pred - y_true) / (y_true 1e-12)))指标含义工程经验阈值R²预测与真值的拟合决定系数≥ 0.98 可放心用于趋势预测相对 RMSERMSE 除以真值标准差≤ 0.05 认为精度充足最大相对误差测试点中最大的相对偏差重点排查输入空间角落最大相对误差比平均误差更值得关注。代理模型在采样边界或稀疏区域最容易失真而优化算法恰恰喜欢试探边界发现某个角落误差大优先在那个方向补一个样本点重训而不是盲目加深网络。三个指标全部基于训练时没见过的测试集计算否则数字再漂亮也没有参考价值。4. 代理模型的三类大坑归一化、过拟合与样本分布不均4.1 归一化不做的后果损失函数被大数值变量绑架工程输入变量的量纲差异非常大。压力可能是 1e5角度只有 090弹性模量是 2e11。不归一化的话网络第一层的加权和会被大数值维度支配梯度方向几乎由那几个大数决定小数值变量根本学不进去输出不归一化MSE 损失量级过大训练前期容易梯度爆炸。用 sklearn 的 StandardScaler 就够对每列做 (x − mean) / std保留分布形状对离群点的敏感度也低于 MinMaxScaler。输入输出要分别 fit 并保存 scaler预测时用同一个 scaler 做逆变换还原from sklearn.preprocessing import StandardScaler scaler_x StandardScaler().fit(X_raw) scaler_y StandardScaler().fit(y_raw.reshape(-1, 1)) X torch.tensor(scaler_x.transform(X_raw), dtypetorch.float32) y torch.tensor(scaler_y.transform(y_raw.reshape(-1, 1)), dtypetorch.float32) # 预测时反归一化 pred_raw scaler_y.inverse_transform(pred.detach().numpy())注意y_raw必须是二维数组 (n_samples, n_out)reshape(-1, 1)这一行最容易漏漏掉之后scaler_y.fit会把每一列当独立变量多输出模型里属于静默错误。scaler 要跟着模型一起存盘线上推理用的就是训练时 fit 出来的均值和方差这一点和 torch.save 模型权重同等重要。4.2 过拟合的三个信号与处理手段排序代理模型过拟合的典型现象训练损失降到 1e-4 以下还在走低验证损失却开始回升测试集最大相对误差明显大于训练集把预测响应面沿某一个输入参数画出来曲线在样本点周围出现高频抖动。第一种可以在训练日志里直接看到后两种需要画图或对比误差分布才能确认。对策按优先级排。早停是第一道闸上一章 patience 机制就是为它准备的第二是权重衰减weight decayAdam 里加 1e-51e-3 的 L2 正则第三才是收窄隐藏层宽度。不建议在低维代理模型上用 dropout——样本量不大、特征是稠密连续数值dropout 会引入多余的随机性训练反而变抖。手段作用对象典型参数注意事项早停训练轮数patience 50150必须在验证损失上判断权重衰减全部网络权重1e-51e-3过大压平响应面收窄网络隐藏层宽度64→32 或 16优先于加 dropoutdropout隐藏层输出0.10.3低维稠密数据不推荐optimizer torch.optim.Adam( model.parameters(), lr1e-3, weight_decay1e-4 # 正则项经验值 1e-5 ~ 1e-3 )权重衰减加过头响应面会被压平样本稀疏区预测偏向均值最大相对误差反而上升。调参时先固定其他条件把 weight_decay 按 3e-5、1e-4、3e-4 三档扫一遍选验证损失最小的那档。4.3 样本跨数量级时的对数变换真实工程数据的输入常常跨越数量级。振动频率从 10 Hz 到 1000 Hz阻尼比从 0.001 到 0.1这种分布下直接线性归一化会把小数值压缩成近似常数网络的区分能力被抹掉。对策是先取对数再交给 scalerX_log np.log10(X_raw) # 对跨越数量级的列先取对数 scaler_x StandardScaler().fit(X_log)预测完成后用10 ** pred还原。对数变换一般只做在输入侧输出侧除非本身跨数量级分布否则不要取对数逆变换会放大误差最大相对误差可能成倍上升。4.4 有物理方程可用的进阶形态如果手上有控制方程和边界条件希望代理预测严格符合物理规律可以考虑物理信息神经网络PINN这类路线。它把方程残差项加进损失函数让网络在缺样本的区域也受到物理约束本质是把插值问题变成带约束的回归。代价是需要求高阶偏导、调约束权重调试成本比普通代理模型高一整个量级通常只在样本极少、又不能随意加仿真的场景才划算。对多数有几十到几百个样本的工程问题把归一化、权重衰减和早停做扎实比直接上 PINN 更实际。5. 用留一法检验代理模型的插值可靠性代理模型上线前我习惯做一次留一法Leave-One-Out交叉验证尤其是样本量在 100300 区间的时候。做法很直白对 N 个样本每次拿掉第 i 个用剩下的 N−1 个训练同一个网络预测被拿掉的那个点并记录相对误差循环 N 次后统计误差分布。这个过程与插值场景完全一致——被拿掉的样本相当于一个待预测的新工况它的误差就是代理模型对未见点的真实插值误差。N 次全量重训在大样本下很贵实际使用按样本量分流N ≤ 200 就完整跑留一法N 更大退化为 10 折交叉验证划分时固定random_state保证可复现。检查报告里不只看平均误差把每个被拿掉样本的相对误差按输入参数排序画成散点误差大的点往往聚在输入空间的同一个角落这个角落就是下一轮需要补样本的位置。from sklearn.model_selection import KFold import torch kf KFold(n_splits10, shuffleTrue, random_state42) errs [] for train_idx, test_idx in kf.split(X): model ANNSurrogate(n_inX.shape[1], n_outy.shape[1]) # 用同样的归一化、同样的训练函数重训 train_surrogate(model, X[train_idx], y[train_idx], X[test_idx], y[test_idx]) model.eval() with torch.no_grad(): pred model(X[test_idx]) errs.append((pred - y[test_idx]).abs() / (y[test_idx].abs() 1e-12)) errs torch.cat(errs) print(AARE {:.3%}.format(errs.mean()))KFold(random_state42)保证每次运行折划分一致交叉验证结果才能复现。平均绝对相对误差AARE控制在 3%5% 以内是比较稳妥的基准超过这个范围先检查是不是对数变换没做再看样本量是否足够最后才考虑加深网络。交叉验证全部通过后还有最后一步来自真实物理的确认挑三个点——训练域中心附近一个、交叉验证误差最大的那个、以及优化大概率会去的极值角落——各跑一次真实仿真对比这三个点的相对误差。这一招成本低、说服力强比任何统计指标都更能回答“这个代理模型到底能不能用”的问题也正好补上了神经网络只看数字验证时容易忽略的最后一环。本文还有配套的精品资源点击获取
简介一份基于人工神经网络的插值示例压缩包面向需要构建代理模型的仿真优化与数据建模场景适用于神经网络初学者及需要快速近似复杂函数的工程人员。压缩包内仅含1个MATLAB脚本.m大小1KB代码紧凑且可运行完整演示从训练数据准备、网络结构定义、参数初始化、前向传播、损失计算、反向传播到测试验证的插值拟合流程。通过该示例读者可掌握用多层感知机拟合离散点、以均方误差衡量误差并用梯度下降更新权重的核心方法并能方便地将代码修改为自定义输入替代昂贵仿真或加速优化迭代。脚本结构清晰、便于研读默认网络包含输入层、隐藏层与输出层可按需调整层数与节点数适应不同复杂度问题。目前已有190人学习下载适合用于理解代理模型与神经网络插值的基本原理。1. ANN代理模型与插值当单次仿真要跑三小时做优化的人都遇到过这种情况结构强度分析跑一次有限元要一两个小时流体仿真按工况算还要排队而优化算法动辄要评估上千组参数。把每一个点都交给仿真器预算和工期都撑不住。于是大家把做过的样本收集起来训练一个神经网络让它学会输入参数和输出响应之间的映射后续的评估全部交给这个网络只在必要时用真仿真复核。这个网络就是标题里说的 ANN 代理模型也是参数优化和性能预测里最常见的加速手段。这里先把“插值”两个字说清楚。神经网络代理模型对未知点的预测本质上是近似不是严格意义上的插值。Kriging、径向基函数这类方法要求响应面穿过每个样本点神经网络走的是最小化均方误差的路预测值会落在样本点附近但并不保证完全经过。这个差别不是坏事仿真数据本身带有数值噪声时强令曲面穿过每个点反而会把噪声也学进去。理解了这一点后面选模型、看误差指标才不会拧巴。下面从样本设计讲起给出一条用 PyTorch 训练全连接神经网络做近似插值的完整路径覆盖网络结构、归一化、早停和验证最后一节给一个我常用的留一法检验技巧。2. 神经网络代理模型的数学定位插值与回归之间2.1 经典插值方法在高维与噪声面前的局限先看传统插值是怎么工作的。Kriging 假设响应是一个高斯过程实现用样本点间的协方差结构做最优无偏估计在样本点处残差为零属于严格插值RBF 插值用一组基函数的加权叠加去穿过全部样本点。这两种方法在小样本、低维、无噪声的场景下非常漂亮几十到几百个样本的工程问题也常用。但它们的短板同样明显。Kriging 需要求解并分解一个 N×N 的协方差矩阵N 涨到几千时计算量接近立方增长径向基神经网络常说的 RBF 网络的基函数中心和宽度依赖经验设定中心点一多样本稀疏区就会抖出大振幅。更重要的是这两类方法对噪声敏感——仿真网格收敛不充分、试验测量带误差时严格插值等于把噪声一并记住响应面出现不自然的起伏优化算法沿着这种起伏找极值很容易跑偏。工程里常用的响应面建模方法可以放在一起对比方法是否严格穿过样本点对噪声容忍度适合输入维度典型场景Kriging是低≤ 10低维小样本、追求高精度RBF 插值是低≤ 10散点数据插值、网格变形多项式响应面否中≤ 5快速粗糙建模ANN 代理模型近似高550中高维、样本量大、多输出这里的“近似”恰恰是优势。输入维度升到 10 以上、样本量过千时Kriging 的计算和调参成本都会失控而全连接神经网络可以用 mini-batch 训练规模上去之后的边际成本低得多。2.2 神经网络如何把插值问题改写成最小二乘一个标准的前馈神经网络也叫 BP 神经网络因为参数靠反向传播训练做的事情是输入向量 x 经过若干隐藏层的线性变换加非线性激活输出 y_pred然后拿 y_pred 与仿真结果 y_true 的均方误差作为损失做反向传播。优化目标是 min θ ‖y_true − f(x, θ)‖²。这个目标里没有“必须经过样本点”的约束所以网络学到的是一条在整体意义下最贴近样本的曲面。样本点密集处预测误差趋近于零样本稀疏处靠相邻样本平滑过渡——这就是代理模型里“近似插值”的工程含义。如果数据没有噪声、网络又足够宽深度学习理论里有一些结论显示网络可以把训练损失压到接近零达到“记住所有样本”的插值状态。但代理模型通常不需要这个状态因为工程仿真输出往往含数值误差刻意保留一点回归余量反而更稳。另一个优势是多输出应力、变形、温度几个响应放在同一个网络末尾输出共享隐藏层特征样本利用效率比每个响应单独建模高。2.3 样本设计用拉丁超立方采样铺满输入空间代理模型的质量一半取决于训练数据。样本不能随手抓最好按试验设计DOE的思路铺满输入空间。常见做法是用拉丁超立方采样LHS或 Sobol 序列它们比纯随机抽样更均匀在输入维度不高时能明显减少样本点扎堆的概率。import numpy as np from scipy.stats import qmc bounds np.array([ [0.5, 2.0], # 几何参数厚度比 [10.0, 60.0], # 工况参数来流角度 [50.0, 300.0] # 材料参数弹性模量 ]) n_samples 200 sampler qmc.LatinHypercube(d3, seed42) unit_samples sampler.random(nn_samples) design qmc.scale(unit_samples, bounds[:, 0], bounds[:, 1])先用qmc.LatinHypercube在 [0,1]³ 空间生成均匀样本再用qmc.scale把每一列映射到真实的物理边界。seed42保证重跑得到同一批样本设计迭代时不会因为采样变化干扰方案对比。n_samples的经验范围是输入维度的 40100 倍先取 200 跑通流程精度不够再补样本。仿真算完拿到数据后按 70/15/15 切成训练、验证、测试三份测试集在训练过程中完全不碰最后才用来评估代理模型的插值精度。3. 用 PyTorch 搭建神经网络代理模型结构、训练与验证3.1 隐藏层宽度、激活函数与网络规模的边界代理模型的输入输出都是连续数值不需要卷积或注意力结构全连接神经网络就够了。网络层数不是越深越好输入维度通常不到 20两层隐藏层就可以逼近大多数工程响应面再加层数容易过拟合训练时间也往上走。隐藏层宽度常规取 16128一个能用的经验公式是输入维度的两倍再加一点余量比如输入 5 个参数隐藏层取 3264 比较合适。激活函数的选择直接影响响应面的光滑性。ReLU 训练快但分段线性输出对输入的导数不连续如果代理模型后面要接梯度优化或灵敏度分析我更常用 tanh它的导数处处连续响应面更平滑代价只是训练略慢。输出层不加激活让网络可以输出任意范围的值配合后续逆归一化还原真实量纲。import torch import torch.nn as nn class ANNSurrogate(nn.Module): def __init__(self, n_in, n_out, hidden64): super().__init__() self.net nn.Sequential( nn.Linear(n_in, hidden), nn.Tanh(), nn.Linear(hidden, hidden), nn.Tanh(), nn.Linear(hidden, n_out) ) def forward(self, x): return self.net(x)这段代码定义了两层隐藏层、每层 64 个节点的结构n_in是输入参数个数n_out是响应个数forward 里没有额外逻辑。模型整体可导之后要用 autograd 算 ∂y/∂x 做灵敏度分析时直接对输入求导即可。3.2 学习率、batch size 与早停参数怎么设样本量几千以内的代理模型batch size 直接取全量梯度更稳定收敛曲线也更干净样本过万再考虑 mini-batch。优化器默认 Adam初始学习率 1e-3配合验证集上的早停基本能覆盖大多数问题。早停的机制是每个 epoch 结束后算一次验证集损失如果连续 patience 个 epoch 没有刷新历史最低值就回滚到历史最优权重并停止训练。这样既防过拟合又省去手动数轮数。def train_surrogate(model, X, y, X_val, y_val, lr1e-3, epochs2000, patience80): optimizer torch.optim.Adam(model.parameters(), lrlr) loss_fn nn.MSELoss() best_val float(inf) best_state None wait 0 for epoch in range(epochs): model.train() optimizer.zero_grad() pred model(X) loss loss_fn(pred, y) loss.backward() optimizer.step() model.eval() with torch.no_grad(): val_loss loss_fn(model(X_val), y_val).item() if val_loss best_val: best_val val_loss best_state {k: v.clone() for k, v in model.state_dict().items()} wait 0 else: wait 1 if wait patience: break model.load_state_dict(best_state) return best_valX和y在进模型前必须是 FloatTensor 且已经归一化。patience80对多数问题够用损失曲线波动大时可以加到 150。训练结束时把验证集上最优的权重导回模型这个 checkpoint 就是最终代理模型。这里没有叠加 ReduceLROnPlateau因为早停已经把收敛判断接住了两者同用反而容易在验证损失平台期降低学习率导致权重始终停在较差位置。注意验证集只用来挑选最优权重不能参与梯度更新测试集从头到尾不能碰否则后面所有误差指标都会虚低。3.3 验证插值精度的三个指标模型训完先看验证集上的三个数再谈上线。以下代码在前向预测后计算 R²、相对 RMSE 和最大相对误差from sklearn.metrics import r2_score, mean_squared_error import numpy as np pred model(X_test).detach().numpy() y_true y_test.numpy() r2 r2_score(y_true, pred) rmse mean_squared_error(y_true, pred, squaredFalse) rel_rmse rmse / np.std(y_true) max_rel_err np.max(np.abs((pred - y_true) / (y_true 1e-12)))指标含义工程经验阈值R²预测与真值的拟合决定系数≥ 0.98 可放心用于趋势预测相对 RMSERMSE 除以真值标准差≤ 0.05 认为精度充足最大相对误差测试点中最大的相对偏差重点排查输入空间角落最大相对误差比平均误差更值得关注。代理模型在采样边界或稀疏区域最容易失真而优化算法恰恰喜欢试探边界发现某个角落误差大优先在那个方向补一个样本点重训而不是盲目加深网络。三个指标全部基于训练时没见过的测试集计算否则数字再漂亮也没有参考价值。4. 代理模型的三类大坑归一化、过拟合与样本分布不均4.1 归一化不做的后果损失函数被大数值变量绑架工程输入变量的量纲差异非常大。压力可能是 1e5角度只有 090弹性模量是 2e11。不归一化的话网络第一层的加权和会被大数值维度支配梯度方向几乎由那几个大数决定小数值变量根本学不进去输出不归一化MSE 损失量级过大训练前期容易梯度爆炸。用 sklearn 的 StandardScaler 就够对每列做 (x − mean) / std保留分布形状对离群点的敏感度也低于 MinMaxScaler。输入输出要分别 fit 并保存 scaler预测时用同一个 scaler 做逆变换还原from sklearn.preprocessing import StandardScaler scaler_x StandardScaler().fit(X_raw) scaler_y StandardScaler().fit(y_raw.reshape(-1, 1)) X torch.tensor(scaler_x.transform(X_raw), dtypetorch.float32) y torch.tensor(scaler_y.transform(y_raw.reshape(-1, 1)), dtypetorch.float32) # 预测时反归一化 pred_raw scaler_y.inverse_transform(pred.detach().numpy())注意y_raw必须是二维数组 (n_samples, n_out)reshape(-1, 1)这一行最容易漏漏掉之后scaler_y.fit会把每一列当独立变量多输出模型里属于静默错误。scaler 要跟着模型一起存盘线上推理用的就是训练时 fit 出来的均值和方差这一点和 torch.save 模型权重同等重要。4.2 过拟合的三个信号与处理手段排序代理模型过拟合的典型现象训练损失降到 1e-4 以下还在走低验证损失却开始回升测试集最大相对误差明显大于训练集把预测响应面沿某一个输入参数画出来曲线在样本点周围出现高频抖动。第一种可以在训练日志里直接看到后两种需要画图或对比误差分布才能确认。对策按优先级排。早停是第一道闸上一章 patience 机制就是为它准备的第二是权重衰减weight decayAdam 里加 1e-51e-3 的 L2 正则第三才是收窄隐藏层宽度。不建议在低维代理模型上用 dropout——样本量不大、特征是稠密连续数值dropout 会引入多余的随机性训练反而变抖。手段作用对象典型参数注意事项早停训练轮数patience 50150必须在验证损失上判断权重衰减全部网络权重1e-51e-3过大压平响应面收窄网络隐藏层宽度64→32 或 16优先于加 dropoutdropout隐藏层输出0.10.3低维稠密数据不推荐optimizer torch.optim.Adam( model.parameters(), lr1e-3, weight_decay1e-4 # 正则项经验值 1e-5 ~ 1e-3 )权重衰减加过头响应面会被压平样本稀疏区预测偏向均值最大相对误差反而上升。调参时先固定其他条件把 weight_decay 按 3e-5、1e-4、3e-4 三档扫一遍选验证损失最小的那档。4.3 样本跨数量级时的对数变换真实工程数据的输入常常跨越数量级。振动频率从 10 Hz 到 1000 Hz阻尼比从 0.001 到 0.1这种分布下直接线性归一化会把小数值压缩成近似常数网络的区分能力被抹掉。对策是先取对数再交给 scalerX_log np.log10(X_raw) # 对跨越数量级的列先取对数 scaler_x StandardScaler().fit(X_log)预测完成后用10 ** pred还原。对数变换一般只做在输入侧输出侧除非本身跨数量级分布否则不要取对数逆变换会放大误差最大相对误差可能成倍上升。4.4 有物理方程可用的进阶形态如果手上有控制方程和边界条件希望代理预测严格符合物理规律可以考虑物理信息神经网络PINN这类路线。它把方程残差项加进损失函数让网络在缺样本的区域也受到物理约束本质是把插值问题变成带约束的回归。代价是需要求高阶偏导、调约束权重调试成本比普通代理模型高一整个量级通常只在样本极少、又不能随意加仿真的场景才划算。对多数有几十到几百个样本的工程问题把归一化、权重衰减和早停做扎实比直接上 PINN 更实际。5. 用留一法检验代理模型的插值可靠性代理模型上线前我习惯做一次留一法Leave-One-Out交叉验证尤其是样本量在 100300 区间的时候。做法很直白对 N 个样本每次拿掉第 i 个用剩下的 N−1 个训练同一个网络预测被拿掉的那个点并记录相对误差循环 N 次后统计误差分布。这个过程与插值场景完全一致——被拿掉的样本相当于一个待预测的新工况它的误差就是代理模型对未见点的真实插值误差。N 次全量重训在大样本下很贵实际使用按样本量分流N ≤ 200 就完整跑留一法N 更大退化为 10 折交叉验证划分时固定random_state保证可复现。检查报告里不只看平均误差把每个被拿掉样本的相对误差按输入参数排序画成散点误差大的点往往聚在输入空间的同一个角落这个角落就是下一轮需要补样本的位置。from sklearn.model_selection import KFold import torch kf KFold(n_splits10, shuffleTrue, random_state42) errs [] for train_idx, test_idx in kf.split(X): model ANNSurrogate(n_inX.shape[1], n_outy.shape[1]) # 用同样的归一化、同样的训练函数重训 train_surrogate(model, X[train_idx], y[train_idx], X[test_idx], y[test_idx]) model.eval() with torch.no_grad(): pred model(X[test_idx]) errs.append((pred - y[test_idx]).abs() / (y[test_idx].abs() 1e-12)) errs torch.cat(errs) print(AARE {:.3%}.format(errs.mean()))KFold(random_state42)保证每次运行折划分一致交叉验证结果才能复现。平均绝对相对误差AARE控制在 3%5% 以内是比较稳妥的基准超过这个范围先检查是不是对数变换没做再看样本量是否足够最后才考虑加深网络。交叉验证全部通过后还有最后一步来自真实物理的确认挑三个点——训练域中心附近一个、交叉验证误差最大的那个、以及优化大概率会去的极值角落——各跑一次真实仿真对比这三个点的相对误差。这一招成本低、说服力强比任何统计指标都更能回答“这个代理模型到底能不能用”的问题也正好补上了神经网络只看数字验证时容易忽略的最后一环。本文还有配套的精品资源点击获取
