1. 非线性规划基础从线性到非线性的思维跃迁第一次接触非线性规划时我盯着那个带平方项的目标函数发呆了半小时——这玩意儿怎么画可行域后来才明白这正是非线性规划的魅力所在。与线性规划不同非线性规划就像在崎岖的山地寻找制高点而线性规划只是在平地上找小土坡。核心区别在于目标函数和约束的形态。线性规划中所有关系都是直线比如3x2y而非线性规划允许曲线关系比如x²log(y)。这种差异带来了两个关键特征解空间形状线性规划的可行域是多边形顶点而非线性规划的解可能出现在可行域的任何位置求解难度线性规划有单纯形法这种万能钥匙而非线性规划需要针对问题特性选择算法我常用来类比的例子是投资组合优化线性规划像是把所有钱存银行固定收益而非线性规划更像是炒股收益与风险呈非线性关系。2018年我做量化投资模型时就遇到过预期收益率与波动率之间的非线性权衡问题。MATLAB中处理非线性规划的标准形式如下min f(x) s.t. A·x ≤ b Aeq·x beq c(x) ≤ 0 ceq(x) 0 lb ≤ x ≤ ub其中c(x)和ceq(x)就是非线性约束函数。2. 算法全景图从梯度下降到智能优化在实际项目中算法选择往往决定了求解效率。我把常用算法分为三大类就像游戏里的职业选择2.1 精确求解派梯度相关梯度下降法像蒙眼下山的盲人靠脚底坡度感知方向while norm(grad) tol x x - alpha*grad; grad computeGradient(x); end拟牛顿法BFGS构建Hessian矩阵近似收敛更快但内存消耗大2.2 启发式探索者遗传算法模拟生物进化适合多峰问题粒子群优化像鸟群觅食保持个体与群体信息平衡2.3 专用武器库内点法处理不等式约束的利器序列二次规划(SQP)把非线性问题转化为一系列二次规划子问题去年优化工厂排产系统时我发现对于平滑函数拟牛顿法效率最高但当存在多个局部最优时配合遗传算法的混合策略效果更好。MATLAB的fmincon函数就内置了这些算法选择options optimoptions(fmincon,Algorithm,interior-point); [x,fval] fmincon(objfun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options);3. MATLAB实战从投资组合到生产调度3.1 投资组合优化实例假设有三种资产股票预期收益12%风险20%债券预期收益5%风险8%黄金预期收益7%风险15%目标是最大化夏普比率非线性目标function f portfolioObj(x) returns [0.12; 0.05; 0.07]; risks [0.20; 0.08; 0.15]; corrMat [1.0 0.3 -0.1; 0.3 1.0 0.0; -0.1 0.0 1.0]; portReturn x*returns; portRisk sqrt(x*(risks.*corrMat.*risks)*x); f -portReturn/portRisk; % 最小化负夏普比率 end约束条件包括预算约束和风险控制Aeq [1 1 1]; beq 1; % 资金全部分配 lb [0; 0; 0]; % 不允许卖空 [x_opt, sharpe] fmincon(portfolioObj, [1/3;1/3;1/3],... [],[],Aeq,beq,lb,[]);3.2 生产调度问题某工厂生产两种产品设备运行成本与产量呈二次关系function [c,ceq] plantConstraints(x) % 产量x(1),x(2) c [x(1)^2 x(2)^2 - 2000; % 产能约束 3*x(1) 5*x(2) - 5000]; % 原料约束 ceq []; end求解时需要处理非线性约束options optimoptions(fmincon,Display,iter); [x,fval] fmincon((x)-profit(x), [100;100],... [],[],[],[],[0;0],[],... plantConstraints,options);4. 避坑指南数值稳定性与算法调参在2019年给某物流公司做路径优化时我踩过一个经典坑算法陷入局部最优。后来总结出这些经验数值稳定性技巧变量缩放将数量级差异大的变量归一化x_scaled x./[1000; 1; 50]; % 各变量量纲不同时有限差分步长选择梯度计算时避免截断误差options optimoptions(fmincon,FiniteDifferenceStepSize,1e-6);算法选择矩阵问题特征推荐算法内存需求光滑小规模SQP低非光滑多峰遗传算法中大规模稀疏内点法高有离散变量粒子群优化可变调试工具可视化目标函数fsurf((x,y)objfun([x;y]),[0 10 0 20])检查约束违反程度violation max([0; nonlcon(x)])5. 进阶技巧全局优化与并行计算当标准算法失效时我们需要更强大的工具多起点策略problem createOptimProblem(fmincon,objective,objfun,...); ms MultiStart(UseParallel,true); [x,fval] run(ms,problem,30); % 30个随机起点全局搜索gs GlobalSearch(NumTrialPoints,1000); [x_g,fval_g] run(gs,problem);去年优化风电布局时使用并行计算将300小时的任务缩短到8小时parpool(4); % 启动4个工作进程 options optimoptions(fmincon,UseParallel,true);对于特别复杂的问题还可以考虑代理模型优化Surrogate Optimization模式搜索Pattern Search模拟退火Simulated AnnealingMATLAB的全局优化工具箱提供了这些算法的完整实现配合Parallel Computing Toolbox可以充分利用多核性能。
1. 非线性规划基础从线性到非线性的思维跃迁第一次接触非线性规划时我盯着那个带平方项的目标函数发呆了半小时——这玩意儿怎么画可行域后来才明白这正是非线性规划的魅力所在。与线性规划不同非线性规划就像在崎岖的山地寻找制高点而线性规划只是在平地上找小土坡。核心区别在于目标函数和约束的形态。线性规划中所有关系都是直线比如3x2y而非线性规划允许曲线关系比如x²log(y)。这种差异带来了两个关键特征解空间形状线性规划的可行域是多边形顶点而非线性规划的解可能出现在可行域的任何位置求解难度线性规划有单纯形法这种万能钥匙而非线性规划需要针对问题特性选择算法我常用来类比的例子是投资组合优化线性规划像是把所有钱存银行固定收益而非线性规划更像是炒股收益与风险呈非线性关系。2018年我做量化投资模型时就遇到过预期收益率与波动率之间的非线性权衡问题。MATLAB中处理非线性规划的标准形式如下min f(x) s.t. A·x ≤ b Aeq·x beq c(x) ≤ 0 ceq(x) 0 lb ≤ x ≤ ub其中c(x)和ceq(x)就是非线性约束函数。2. 算法全景图从梯度下降到智能优化在实际项目中算法选择往往决定了求解效率。我把常用算法分为三大类就像游戏里的职业选择2.1 精确求解派梯度相关梯度下降法像蒙眼下山的盲人靠脚底坡度感知方向while norm(grad) tol x x - alpha*grad; grad computeGradient(x); end拟牛顿法BFGS构建Hessian矩阵近似收敛更快但内存消耗大2.2 启发式探索者遗传算法模拟生物进化适合多峰问题粒子群优化像鸟群觅食保持个体与群体信息平衡2.3 专用武器库内点法处理不等式约束的利器序列二次规划(SQP)把非线性问题转化为一系列二次规划子问题去年优化工厂排产系统时我发现对于平滑函数拟牛顿法效率最高但当存在多个局部最优时配合遗传算法的混合策略效果更好。MATLAB的fmincon函数就内置了这些算法选择options optimoptions(fmincon,Algorithm,interior-point); [x,fval] fmincon(objfun,x0,A,b,Aeq,beq,lb,ub,nonlcon,options);3. MATLAB实战从投资组合到生产调度3.1 投资组合优化实例假设有三种资产股票预期收益12%风险20%债券预期收益5%风险8%黄金预期收益7%风险15%目标是最大化夏普比率非线性目标function f portfolioObj(x) returns [0.12; 0.05; 0.07]; risks [0.20; 0.08; 0.15]; corrMat [1.0 0.3 -0.1; 0.3 1.0 0.0; -0.1 0.0 1.0]; portReturn x*returns; portRisk sqrt(x*(risks.*corrMat.*risks)*x); f -portReturn/portRisk; % 最小化负夏普比率 end约束条件包括预算约束和风险控制Aeq [1 1 1]; beq 1; % 资金全部分配 lb [0; 0; 0]; % 不允许卖空 [x_opt, sharpe] fmincon(portfolioObj, [1/3;1/3;1/3],... [],[],Aeq,beq,lb,[]);3.2 生产调度问题某工厂生产两种产品设备运行成本与产量呈二次关系function [c,ceq] plantConstraints(x) % 产量x(1),x(2) c [x(1)^2 x(2)^2 - 2000; % 产能约束 3*x(1) 5*x(2) - 5000]; % 原料约束 ceq []; end求解时需要处理非线性约束options optimoptions(fmincon,Display,iter); [x,fval] fmincon((x)-profit(x), [100;100],... [],[],[],[],[0;0],[],... plantConstraints,options);4. 避坑指南数值稳定性与算法调参在2019年给某物流公司做路径优化时我踩过一个经典坑算法陷入局部最优。后来总结出这些经验数值稳定性技巧变量缩放将数量级差异大的变量归一化x_scaled x./[1000; 1; 50]; % 各变量量纲不同时有限差分步长选择梯度计算时避免截断误差options optimoptions(fmincon,FiniteDifferenceStepSize,1e-6);算法选择矩阵问题特征推荐算法内存需求光滑小规模SQP低非光滑多峰遗传算法中大规模稀疏内点法高有离散变量粒子群优化可变调试工具可视化目标函数fsurf((x,y)objfun([x;y]),[0 10 0 20])检查约束违反程度violation max([0; nonlcon(x)])5. 进阶技巧全局优化与并行计算当标准算法失效时我们需要更强大的工具多起点策略problem createOptimProblem(fmincon,objective,objfun,...); ms MultiStart(UseParallel,true); [x,fval] run(ms,problem,30); % 30个随机起点全局搜索gs GlobalSearch(NumTrialPoints,1000); [x_g,fval_g] run(gs,problem);去年优化风电布局时使用并行计算将300小时的任务缩短到8小时parpool(4); % 启动4个工作进程 options optimoptions(fmincon,UseParallel,true);对于特别复杂的问题还可以考虑代理模型优化Surrogate Optimization模式搜索Pattern Search模拟退火Simulated AnnealingMATLAB的全局优化工具箱提供了这些算法的完整实现配合Parallel Computing Toolbox可以充分利用多核性能。
