如果你是一名做机器人、自动驾驶、无人机或工业控制的工程师大概率遇到过这样的困境传统最优控制理论学了一堆真到工程现场却经常被非线性和不确定性难住机器学习方法倒是灵活可把神经网络直接接到被控对象上又让人担心稳定性和实时性问题。过去我们通常把这两条路线分开处理但现在越来越多顶会论文和生产系统都在尝试一条新的路径把最优控制与基于学习的控制放在同一个框架里用模型预测控制MPC保证约束和稳定性用强化学习处理建模困难和长时序决策。斯坦福大学开设的 AA203《Optimal and Learning-Based Control》课程就是目前讲清楚这条路径的经典教材级课程之一从 2026 年春季学期的课程安排来看它依然保持着一个相当硬核且完整的体系。这篇文章不打算复述课程大纲而是从工程和算法落地的角度拆解最优控制到底解决什么问题学习控制又补齐了哪块短板AA203 如何把两者串起来以及你在学习这门课或类似知识体系时需要哪些工具、代码和排查手段。读完你可以获得一张清晰的路线图而不是一堆名词。1. 这篇文章真正要解决的问题先给结论AA203 的核心价值不是教你背 LQR 公式而是帮助你建立一套“何时用模型、何时用数据、何时两者混合”的控制系统设计思维。如果你只看课程名字可能误以为它一半讲最优控制、一半讲强化学习像两门课拼在一起。实际上它更接近一个连续谱系从经典动态规划出发逐步过渡到 model-based 学习方法再进入 model-free 强化学习最后讨论安全和鲁棒性问题。这个视角对研究人员和资深工程师都很有价值。具体来说以下几个问题最值得关注为什么很多实际项目最终选择了 MPC而不是纯强化学习为什么深度强化学习论文里的方法直接搬到运动控制系统上容易失效在非线性、不确定性、约束同时存在时控制设计应该从哪里入手课程里用的 Julia 和 Python 工具链如何搭建和验证如果你正被上述问题困扰这篇文章就是写给你的。即使你没有条件完整学习斯坦福课程本文给出的路线和代码示例也能让你把核心思想跑通一遍。2. 最优控制与基于学习的控制概念边界与对比2.1 最优控制解决的问题最优控制问题的标准描述是给定一个动态系统寻找控制输入序列使得某个代价函数最小化同时满足状态和控制约束。经典方法包括线性二次型调节器LQR、线性二次型高斯LQG、模型预测控制MPC、动态规划DP和极大值原理PMP。核心假设是我们有一个相对准确的模型比如机器人的动力学方程、车辆的运动学模型。模型越准最优控制效果越好。所以经典最优控制擅长处理“模型已知、状态可测、约束明确”的场景比如无人机悬停、机械臂轨迹规划。2.2 基于学习的控制解决的问题当模型复杂到难以手工建立精确方程比如交通信号灯控制、芯片布局优化、双足机器人步态传统建模代价非常高。基于学习的控制直接使用数据来逼近系统动态、价值函数或策略代表性方法包括模型学习System Identification用神经网络或高斯过程学习系统动力学。强化学习通过试错和环境交互学习策略典型代表是 DDPG、PPO、SAC 等。模仿学习从专家示范中学习控制策略。学习控制的优势是几乎不需要精确物理模型但代价是不容易提供稳定性保证训练成本高且对分布偏移敏感。2.3 两者的关键对比可以把两种思路放在一张表里看清楚对比维度经典最优控制基于学习的控制所需模型必须显式给出或辨识可由数据隐式逼近约束处理天然支持MPC/LQR均有明确约束表达能力较难需要额外技巧实时性线性/凸问题较快非线性需在线优化推理快但训练和收敛不确定性高稳定性保证有较成熟的理论工具仍在快速发展目前偏实证适用场景模型清晰、安全关键模型复杂、长时序、高维决策真正聪明的系统设计不是二选一而是先问自己模型误差有多大约束有多硬实时预算多少然后决定在哪个环节引入学习。AA203 的最大价值就是帮你建立这种决策能力。3. AA203 课程的核心内容与学习价值AA203 是斯坦福航空航天系开设的研究生课程课程编号 AA203 对应《Optimal and Learning-Based Control》。从公开材料和 2026 春季学期的课程方向看它大体覆盖以下几个模块动态规划与最优控制基础Bellman 方程、值迭代、策略迭代。离散与连续时间最优控制LQR、Pontryagin 极大值原理。数值优化方法凸优化、Q 与 OSQP、Gurobi 接口。模型预测控制约束 MPC、鲁棒 MPC、非线性 MPC。基于模型的学习控制系统辨识、神经网络动力学模型、GP 动态模型。强化学习初步策略梯度、Actor-Critic、模型基强化学习。安全控制安全屏障函数Control Barrier Functions、鲁棒性分析。有些同学会问这门课和普通的《现代控制理论》有什么不同答案在于AA203 更强调把最优化视角贯穿整个控制过程不只学习稳定性和能控性而是把控制器设计理解为“在一组约束下求解一个优化问题”。这个视角非常现代也更贴近工程实施。对国内读者来说与其纠结“能不能看到 2026 Spring 的视频和字幕”不如先掌握这门课的知识骨架。中英字幕只是一个辅助手段核心是把算法因果、适用范围和数学推导逻辑搞清楚。4. 学习工具与开发环境准备4.1 为什么课程使用 Julia斯坦福 AA203 的作业和项目里经常涉及 JuMP、NLopt、Gurobi 等优化库Julia 在数学建模优化上有非常自然的语法。不过如果你不熟悉 Julia也可以使用 Python 完成大部分算法验证特别是使用 cvxpy、casadi、gym、stable-baselines3 等库。这里建议采用“双语言”策略用 Python 快速验证算法逻辑理解概念用 Julia 跟着课程作业练习建模和优化。Python 生态是工程同学最熟悉的而 Julia 更贴近课程原版工具链。4.2 环境安装示例以下是一个基于 conda 的 Python 环境准备流程针对控制和强化学习相关库# 创建虚拟环境 conda create -n aa203 python3.10 -y conda activate aa203 # 基础数值与科学计算 pip install numpy scipy matplotlib # 凸优化与模型预测控制 pip install cvxpy # 动力学建模与控制 pip install casadi # 强化学习环境 pip install gymnasium # 深度强化学习库可选用优先用轻量实现理解原理 pip install stable-baselines3对于 Julia 环境可以考虑using Pkg Pkg.add(JuMP) Pkg.add(Ipopt) Pkg.add(OSQP) Pkg.add(LinearAlgebra)安装完成后可以通过一个最小示例确认环境是否可用。下面用一个简单的 LQR 求解示例验证。5. 核心算法拆解从 LQR 到 MPC这一节的目的是用代码串起概念。先写 LQR再写 MPC最后给出一个简单的学习控制示例三者之间是层层递进的关系。5.1 LQR最优控制的入门LQR 是最优控制中最基础的算法适合线性系统目标是设计一个线性反馈控制器 u -Kx使得二次代价函数最小。对一维惯性系统 x_dot v, v_dot u可以用 Python 的 scipy 直接求解代数 Riccati 方程。# 文件路径lqr_example.py import numpy as np from scipy.linalg import solve_continuous_are # 一个简单的一维双积分系统: x v, v a # 状态 [x, v]控制为加速度 a A np.array([[0.0, 1.0], [0.0, 0.0]]) B np.array([[0.0], [1.0]]) # 代价矩阵位置权重高控制权重低 Q np.array([[1.0, 0.0], [0.0, 1.0]]) R np.array([[1.0]]) # 求解连续时间代数 Riccati 方程 P solve_continuous_are(A, B, Q, R) K np.linalg.solve(R, B.T P) print(Riccati 解 P:) print(P) print(最优反馈增益 K:) print(K)运行后会输出 P 矩阵和 K 矩阵。如果你看到类似[0.41421356 1.0000000]的反馈增益说明环境没问题。注意这里的 Q、R 需要调参Q 越大表示状态偏差的惩罚越重R 越大表示控制输入的惩罚越重。5.2 MPC带约束的最优控制LQR 无法直接处理约束比如电机力矩饱和、机械臂关节角度限制。MPC 的核心思路是在每个采样时刻基于当前状态求解一个有限时域优化问题并只执行第一步控制下一时刻重新求解。这是最接近工程实践的算法之一。下面用一个离散双积分模型演示 cvxpy 实现 MPC。# 文件路径mpc_example.py import numpy as np import cvxpy as cp # 离散时间模型: x_{k1} A x_k B u_k dt 0.1 A np.array([[1.0, dt], [0.0, 1.0]]) B np.array([[0.5 * dt ** 2], [dt]]) n_state 2 n_ctrl 1 horizon 10 # 目标从 [2, 0] 到达原点 x0 np.array([2.0, 0.0]) x_target np.zeros(n_state) x cp.Variable((n_state, horizon 1)) u cp.Variable((n_ctrl, horizon)) # 代价矩阵 Q np.eye(n_state) R np.eye(n_ctrl) * 0.1 constraints [x[:, 0] x0] for k in range(horizon): constraints.append(x[:, k 1] A x[:, k] B u[:, k]) constraints.append(cp.abs(u[0, k]) 1.0) # 控制输入饱和约束 cost 0 for k in range(horizon): cost cp.quad_form(x[:, k 1] - x_target, Q) cp.quad_form(u[:, k], R) prob cp.Problem(cp.Minimize(cost), constraints) prob.solve(solvercp.OSQP) print(最优控制序列 u:) print(u.value) print(最优状态轨迹 x:) print(x.value)运行这段代码后得到的是一个 10 步的控制序列。验证成功的标志是第一步控制量在 [-1, 1] 以内状态轨迹从 2.0 逐步收敛到接近 0。这里最关键的坑是A x[:, k] B u[:, k]的维度必须匹配如果 B 的形状写成(2, 1)错误cvxpy 会报维度不一致。5.3 从模型到数据基于学习的控制入口当模型无法清晰写出时一个朴素但有效的方法是先用数据学习一个动力学模型再把它放进 MPC 中使用。这种思路叫 model-based learning control比直接使用强化学习更容易提供稳定性保障。下面用一个简单的正弦函数模拟未知动力学用神经网络拟合然后叠加到线性模型上。# 文件路径learned_mpc_demo.py import numpy as np import torch import torch.nn as nn import torch.optim as optim # 生成训练数据: 未知非线性项 f(x) sin(x) np.random.seed(0) X_train np.random.uniform(-2.0, 2.0, (1000, 1)) Y_train np.sin(X_train).ravel() # 一个简单的两层神经网络 model nn.Sequential( nn.Linear(1, 16), nn.ReLU(), nn.Linear(16, 1) ) optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() for epoch in range(300): x_batch torch.tensor(X_train, dtypetorch.float32) y_batch torch.tensor(Y_train, dtypetorch.float32).unsqueeze(1) pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step() # 测试拟合效果 x_test torch.tensor([[0.5], [1.5]], dtypetorch.float32) print(网络输出真实sin值 0.479, 0.997:) print(model(x_test).detach().numpy())运行后网络输出应接近真实值说明学习动力学模型的基本流程已经跑通。当把它接入 MPC 时只需要在预测方程中把线性部分替换为A x B u f_nn(x)即可。这也是 AA203 反复强调的核心工程技巧先建模再优化不要一上来就端到端强化学习。6. 完整示例把 LQR、MPC 与学习模型放在一起为了帮助读者把上面三块内容串联起来下面给出一个完整的模拟例子我们已知线性模型但存在一个未知的非线性干扰。用神经网络在线学习干扰再用 MPC 处理约束。这里的训练和验证可以放在一个脚本里方便你对照输出。# 文件路径full_control_pipeline.py import numpy as np import torch import torch.nn as nn import cvxpy as cp # 真实系统: x_{k1} x_k dt*v_k, v_{k1} v_k dt*(u_k d(x_k)) # 其中 d(x) 0.1*sin(3*x) 为未知干扰项 dt 0.1 def true_dynamics(x, v, u): d 0.1 * np.sin(3 * x) x_next x dt * v v_next v dt * (u d) return x_next, v_next # 训练一个神经网络拟合 d(x) data_x np.random.uniform(-3, 3, (2000, 1)) data_d (0.1 * np.sin(3 * data_x)).ravel() net nn.Sequential(nn.Linear(1, 32), nn.ReLU(), nn.Linear(32, 1)) opt torch.optim.Adam(net.parameters(), lr0.005) loss_fn nn.MSELoss() for _ in range(500): x_in torch.tensor(data_x, dtypetorch.float32) d_true torch.tensor(data_d, dtypetorch.float32).unsqueeze(1) pred_d net(x_in) loss loss_fn(pred_d, d_true) opt.zero_grad() loss.backward() opt.step() # 用学习到的 d_hat 做 MPC 仿真 A np.array([[1.0, dt], [0.0, 1.0]]) B np.array([[0.0], [dt]]) def mpc_step(x0, v0, horizon5): x0_vec np.array([x0, v0]) x cp.Variable((2, horizon 1)) u cp.Variable((1, horizon)) # 注意这里使用近似模型但把学习到的干扰项线性化到控制输入中 constraints [x[:, 0] x0_vec] for k in range(horizon): d_hat net(torch.tensor([[x[0, k].value if hasattr(x[0, k], value) else x0]], dtypetorch.float32)).item() # 简化处理直接在当前状态处线性化干扰项 constraints.append(x[:, k 1] A x[:, k] B u[:, k] np.array([[0.0], [d_hat * dt]])) constraints.append(cp.abs(u[0, k]) 1.0) cost sum(cp.quad_form(x[:, k] , np.eye(2)) for k in range(1, horizon1)) \ sum(cp.quad_form(u[:, k], np.eye(1) * 0.1) for k in range(horizon)) prob cp.Problem(cp.Minimize(cost), constraints) prob.solve(solvercp.OSQP) return u.value[0, 0] # 仿真闭环 state np.array([2.0, 0.0]) traj [] for _ in range(30): traj.append(state.copy()) u_first mpc_step(state[0], state[1]) state[0], state[1] true_dynamics(state[0], state[1], u_first) traj np.array(traj) print(仿真结束轨迹最后状态:) print(traj[-1])这段代码比前面的示例更接近真实工程场景系统存在未知干扰神经网络负责学习干扰项MPC 负责约束和闭环。运行后轨迹最后状态应该接近原点。如果输出明显发散最常见的造成原因是d_hat的数值类型或x[0, k].value的使用问题可以参考第 7 节的排查表。7. 运行结果与验证方法7.1 如何判断 LQR 示例成功lqr_example.py输出的 K 矩阵应是一个形状为(1, 2)的数组数值范围在 0.4 到 1.4 之间。如果出现LinAlgError或ValueError说明你安装的 scipy 版本与 Python 版本不匹配升级 scipy 即可。7.2 如何判断 MPC 示例成功mpc_example.py输出的u应落在 [-1, 1] 之间。更重要的是状态序列的第一个值应为 2最后一个值应明显小于初始值。如果状态发散优先检查dt设置是否过小导致模型比例关系失调以及 OSQP 求解器是否正常安装。cvxpy 默认会尝试多种求解器建议显式指定solvercp.OSQP。7.3 如何判断学习控制示例成功learned_mpc_demo.py运行后神经网络输出与真实 sin 值应非常接近误差不超过 0.05 即为正常。如果误差很大加大训练 epoch 数或增加网络层宽度。注意不要用 CPU 跑超大网络这个示例本身只是一个教学演示不需要 GPU。7.4 常见判断误区很多新手把强化学习用在一切场景但至少从 AA203 课程的角度看模型可用的场景一定优先考虑 MPC 或 LQR。如果模型不准确再用学习组件去补偿而不是抛弃模型。这个原则可以帮助你避免大量无效调参。8. 常见问题与排查思路学习最优控制和基于学习的控制时大家容易踩坑的点非常集中。下面列出一份排查表。问题现象可能原因排查方式解决方案LQR 求解报错 “Solve failed”scipy 版本过老或 Python 位数不匹配检查 scipy 版本pip install --upgrade scipyMPC 状态轨迹发散dt 与实际系统时间常数不匹配打印每一步状态检查单位增大 Q 或减小 R重新调参cvxpy 显示 “Problem is infeasible”约束过紧如u1 无法完成状态转移神经网络拟合精度低数据范围不足或网络容量小打印训练 loss 曲线增加数据量、加层或换激活函数仿真速度很慢在线求解 MPC 代价较高使用 profiling 定位耗时用显式 MPC 离线查表或缩短时域强化学习难以收敛奖励稀疏、状态尺度不统一打印 episode reward 和状态直方图做 reward shaping、归一化输入模型基学习中 d_hat 数值类型错误torch tensor 与 numpy 混用检查 dtype 和 requires_grad使用.detach().numpy()并设置requires_gradFalse如果遇到其他奇怪问题最佳做法是先把问题简化为最小复现固定一个状态、固定一个控制步单独测试模型预测、优化求解、学习补偿三部分是否各自正确。这个方法被反复验证有效。9. 最佳实践与工程建议9.1 从简单问题开始不要一上来就用深度学习很多学习者一看到“Learning-Based Control”就想着用 PPO 训练机械臂。但从课程和工程实践看最稳妥的路径是先提一个线性模型用 LQR 观察闭环行为。加入约束切换到 MPC。模型不精确时用系统辨识或神经网络拟合残差把学习模型嵌入 MPC。最后才考虑端到端强化学习且通常要配合安全屏障和监控机制。这条路线的好处是每个步骤都可验证、可回滚。工程中最怕就是直接上黑盒策略出了问题根本无从排查。9.2 命名、配置与记录建议把你的控制实验代码按以下结构组织control_lab/ ├── models/ # 动力学模型和神经网络定义 ├── controllers/ # LQR, MPC, RL 控制器实现 ├── envs/ # 仿真环境和真实接口 ├── configs/ # yaml 或 json 配置 ├── logs/ # 训练和运行日志 └── scripts/ # 一键运行脚本每一步实验都要记录模型参数、控制器参数、求解器配置、数据集生成方式。最优控制调参往往花费大量时间在 Q、R 矩阵上一个自动化的配置管理可以帮你快速回溯。9.3 安全与生产环境提醒如果要把基于学习的控制部署到真实设备一定要设置保护层控制输出必须经过饱和约束。推荐使用安全屏障函数进行在线安全检查。学习模型的预测置信度不能无限信任至少要设置阈值。系统异常时要有急停路径。这个问题在课程中被反复强调AA203 也包含安全控制的模块。做工程控制的同学应该把这些内容当作常识而不是论文里的“额外对象”。9.4 与团队协作的实践控制算法开发往往是跨学科协作你会需要机械工程师提供动力学模型硬件工程师提供执行机构限制算法工程师负责优化求解。建议把控制器接口定义清晰比如输入是状态观测值输出是控制指令内部使用什么算法可以让其他团队不必关心。这样可以避免大量低效沟通。10. 总结与后续学习方向回到开头的问题最优控制和基于学习的控制不是对手而是工具链上的不同环节。斯坦福 AA203 课程最值得学习的地方不在于某个具体公式而在于它教你如何在模型、数据、约束和安全这四个要素之间做设计取舍。如果你现在刚开始接触建议先把本文的 LQR 和 MPC 示例跑通再尝试把神经网络模型接入 MPC。这份代码实践会给你带来扎实的直观理解。接下来可以继续阅读以下方向深度学习系统辨识与不确定性量化鲁棒 MPC 与随机 MPC控制屏障函数与安全强化学习Actor-Critic 算法的数学原理及其与控制的关系在这些方向中AA203 提供的数学基础和 Julia 作业可以帮助你建立严谨的推导能力。单纯看视频和字幕并不会带来太大收获动手推导和写代码才是真正提升的方式。建议收藏这篇文章把它作为你进入最优控制与学习控制领域的第一张地图。
如果你是一名做机器人、自动驾驶、无人机或工业控制的工程师大概率遇到过这样的困境传统最优控制理论学了一堆真到工程现场却经常被非线性和不确定性难住机器学习方法倒是灵活可把神经网络直接接到被控对象上又让人担心稳定性和实时性问题。过去我们通常把这两条路线分开处理但现在越来越多顶会论文和生产系统都在尝试一条新的路径把最优控制与基于学习的控制放在同一个框架里用模型预测控制MPC保证约束和稳定性用强化学习处理建模困难和长时序决策。斯坦福大学开设的 AA203《Optimal and Learning-Based Control》课程就是目前讲清楚这条路径的经典教材级课程之一从 2026 年春季学期的课程安排来看它依然保持着一个相当硬核且完整的体系。这篇文章不打算复述课程大纲而是从工程和算法落地的角度拆解最优控制到底解决什么问题学习控制又补齐了哪块短板AA203 如何把两者串起来以及你在学习这门课或类似知识体系时需要哪些工具、代码和排查手段。读完你可以获得一张清晰的路线图而不是一堆名词。1. 这篇文章真正要解决的问题先给结论AA203 的核心价值不是教你背 LQR 公式而是帮助你建立一套“何时用模型、何时用数据、何时两者混合”的控制系统设计思维。如果你只看课程名字可能误以为它一半讲最优控制、一半讲强化学习像两门课拼在一起。实际上它更接近一个连续谱系从经典动态规划出发逐步过渡到 model-based 学习方法再进入 model-free 强化学习最后讨论安全和鲁棒性问题。这个视角对研究人员和资深工程师都很有价值。具体来说以下几个问题最值得关注为什么很多实际项目最终选择了 MPC而不是纯强化学习为什么深度强化学习论文里的方法直接搬到运动控制系统上容易失效在非线性、不确定性、约束同时存在时控制设计应该从哪里入手课程里用的 Julia 和 Python 工具链如何搭建和验证如果你正被上述问题困扰这篇文章就是写给你的。即使你没有条件完整学习斯坦福课程本文给出的路线和代码示例也能让你把核心思想跑通一遍。2. 最优控制与基于学习的控制概念边界与对比2.1 最优控制解决的问题最优控制问题的标准描述是给定一个动态系统寻找控制输入序列使得某个代价函数最小化同时满足状态和控制约束。经典方法包括线性二次型调节器LQR、线性二次型高斯LQG、模型预测控制MPC、动态规划DP和极大值原理PMP。核心假设是我们有一个相对准确的模型比如机器人的动力学方程、车辆的运动学模型。模型越准最优控制效果越好。所以经典最优控制擅长处理“模型已知、状态可测、约束明确”的场景比如无人机悬停、机械臂轨迹规划。2.2 基于学习的控制解决的问题当模型复杂到难以手工建立精确方程比如交通信号灯控制、芯片布局优化、双足机器人步态传统建模代价非常高。基于学习的控制直接使用数据来逼近系统动态、价值函数或策略代表性方法包括模型学习System Identification用神经网络或高斯过程学习系统动力学。强化学习通过试错和环境交互学习策略典型代表是 DDPG、PPO、SAC 等。模仿学习从专家示范中学习控制策略。学习控制的优势是几乎不需要精确物理模型但代价是不容易提供稳定性保证训练成本高且对分布偏移敏感。2.3 两者的关键对比可以把两种思路放在一张表里看清楚对比维度经典最优控制基于学习的控制所需模型必须显式给出或辨识可由数据隐式逼近约束处理天然支持MPC/LQR均有明确约束表达能力较难需要额外技巧实时性线性/凸问题较快非线性需在线优化推理快但训练和收敛不确定性高稳定性保证有较成熟的理论工具仍在快速发展目前偏实证适用场景模型清晰、安全关键模型复杂、长时序、高维决策真正聪明的系统设计不是二选一而是先问自己模型误差有多大约束有多硬实时预算多少然后决定在哪个环节引入学习。AA203 的最大价值就是帮你建立这种决策能力。3. AA203 课程的核心内容与学习价值AA203 是斯坦福航空航天系开设的研究生课程课程编号 AA203 对应《Optimal and Learning-Based Control》。从公开材料和 2026 春季学期的课程方向看它大体覆盖以下几个模块动态规划与最优控制基础Bellman 方程、值迭代、策略迭代。离散与连续时间最优控制LQR、Pontryagin 极大值原理。数值优化方法凸优化、Q 与 OSQP、Gurobi 接口。模型预测控制约束 MPC、鲁棒 MPC、非线性 MPC。基于模型的学习控制系统辨识、神经网络动力学模型、GP 动态模型。强化学习初步策略梯度、Actor-Critic、模型基强化学习。安全控制安全屏障函数Control Barrier Functions、鲁棒性分析。有些同学会问这门课和普通的《现代控制理论》有什么不同答案在于AA203 更强调把最优化视角贯穿整个控制过程不只学习稳定性和能控性而是把控制器设计理解为“在一组约束下求解一个优化问题”。这个视角非常现代也更贴近工程实施。对国内读者来说与其纠结“能不能看到 2026 Spring 的视频和字幕”不如先掌握这门课的知识骨架。中英字幕只是一个辅助手段核心是把算法因果、适用范围和数学推导逻辑搞清楚。4. 学习工具与开发环境准备4.1 为什么课程使用 Julia斯坦福 AA203 的作业和项目里经常涉及 JuMP、NLopt、Gurobi 等优化库Julia 在数学建模优化上有非常自然的语法。不过如果你不熟悉 Julia也可以使用 Python 完成大部分算法验证特别是使用 cvxpy、casadi、gym、stable-baselines3 等库。这里建议采用“双语言”策略用 Python 快速验证算法逻辑理解概念用 Julia 跟着课程作业练习建模和优化。Python 生态是工程同学最熟悉的而 Julia 更贴近课程原版工具链。4.2 环境安装示例以下是一个基于 conda 的 Python 环境准备流程针对控制和强化学习相关库# 创建虚拟环境 conda create -n aa203 python3.10 -y conda activate aa203 # 基础数值与科学计算 pip install numpy scipy matplotlib # 凸优化与模型预测控制 pip install cvxpy # 动力学建模与控制 pip install casadi # 强化学习环境 pip install gymnasium # 深度强化学习库可选用优先用轻量实现理解原理 pip install stable-baselines3对于 Julia 环境可以考虑using Pkg Pkg.add(JuMP) Pkg.add(Ipopt) Pkg.add(OSQP) Pkg.add(LinearAlgebra)安装完成后可以通过一个最小示例确认环境是否可用。下面用一个简单的 LQR 求解示例验证。5. 核心算法拆解从 LQR 到 MPC这一节的目的是用代码串起概念。先写 LQR再写 MPC最后给出一个简单的学习控制示例三者之间是层层递进的关系。5.1 LQR最优控制的入门LQR 是最优控制中最基础的算法适合线性系统目标是设计一个线性反馈控制器 u -Kx使得二次代价函数最小。对一维惯性系统 x_dot v, v_dot u可以用 Python 的 scipy 直接求解代数 Riccati 方程。# 文件路径lqr_example.py import numpy as np from scipy.linalg import solve_continuous_are # 一个简单的一维双积分系统: x v, v a # 状态 [x, v]控制为加速度 a A np.array([[0.0, 1.0], [0.0, 0.0]]) B np.array([[0.0], [1.0]]) # 代价矩阵位置权重高控制权重低 Q np.array([[1.0, 0.0], [0.0, 1.0]]) R np.array([[1.0]]) # 求解连续时间代数 Riccati 方程 P solve_continuous_are(A, B, Q, R) K np.linalg.solve(R, B.T P) print(Riccati 解 P:) print(P) print(最优反馈增益 K:) print(K)运行后会输出 P 矩阵和 K 矩阵。如果你看到类似[0.41421356 1.0000000]的反馈增益说明环境没问题。注意这里的 Q、R 需要调参Q 越大表示状态偏差的惩罚越重R 越大表示控制输入的惩罚越重。5.2 MPC带约束的最优控制LQR 无法直接处理约束比如电机力矩饱和、机械臂关节角度限制。MPC 的核心思路是在每个采样时刻基于当前状态求解一个有限时域优化问题并只执行第一步控制下一时刻重新求解。这是最接近工程实践的算法之一。下面用一个离散双积分模型演示 cvxpy 实现 MPC。# 文件路径mpc_example.py import numpy as np import cvxpy as cp # 离散时间模型: x_{k1} A x_k B u_k dt 0.1 A np.array([[1.0, dt], [0.0, 1.0]]) B np.array([[0.5 * dt ** 2], [dt]]) n_state 2 n_ctrl 1 horizon 10 # 目标从 [2, 0] 到达原点 x0 np.array([2.0, 0.0]) x_target np.zeros(n_state) x cp.Variable((n_state, horizon 1)) u cp.Variable((n_ctrl, horizon)) # 代价矩阵 Q np.eye(n_state) R np.eye(n_ctrl) * 0.1 constraints [x[:, 0] x0] for k in range(horizon): constraints.append(x[:, k 1] A x[:, k] B u[:, k]) constraints.append(cp.abs(u[0, k]) 1.0) # 控制输入饱和约束 cost 0 for k in range(horizon): cost cp.quad_form(x[:, k 1] - x_target, Q) cp.quad_form(u[:, k], R) prob cp.Problem(cp.Minimize(cost), constraints) prob.solve(solvercp.OSQP) print(最优控制序列 u:) print(u.value) print(最优状态轨迹 x:) print(x.value)运行这段代码后得到的是一个 10 步的控制序列。验证成功的标志是第一步控制量在 [-1, 1] 以内状态轨迹从 2.0 逐步收敛到接近 0。这里最关键的坑是A x[:, k] B u[:, k]的维度必须匹配如果 B 的形状写成(2, 1)错误cvxpy 会报维度不一致。5.3 从模型到数据基于学习的控制入口当模型无法清晰写出时一个朴素但有效的方法是先用数据学习一个动力学模型再把它放进 MPC 中使用。这种思路叫 model-based learning control比直接使用强化学习更容易提供稳定性保障。下面用一个简单的正弦函数模拟未知动力学用神经网络拟合然后叠加到线性模型上。# 文件路径learned_mpc_demo.py import numpy as np import torch import torch.nn as nn import torch.optim as optim # 生成训练数据: 未知非线性项 f(x) sin(x) np.random.seed(0) X_train np.random.uniform(-2.0, 2.0, (1000, 1)) Y_train np.sin(X_train).ravel() # 一个简单的两层神经网络 model nn.Sequential( nn.Linear(1, 16), nn.ReLU(), nn.Linear(16, 1) ) optimizer optim.Adam(model.parameters(), lr0.01) loss_fn nn.MSELoss() for epoch in range(300): x_batch torch.tensor(X_train, dtypetorch.float32) y_batch torch.tensor(Y_train, dtypetorch.float32).unsqueeze(1) pred model(x_batch) loss loss_fn(pred, y_batch) optimizer.zero_grad() loss.backward() optimizer.step() # 测试拟合效果 x_test torch.tensor([[0.5], [1.5]], dtypetorch.float32) print(网络输出真实sin值 0.479, 0.997:) print(model(x_test).detach().numpy())运行后网络输出应接近真实值说明学习动力学模型的基本流程已经跑通。当把它接入 MPC 时只需要在预测方程中把线性部分替换为A x B u f_nn(x)即可。这也是 AA203 反复强调的核心工程技巧先建模再优化不要一上来就端到端强化学习。6. 完整示例把 LQR、MPC 与学习模型放在一起为了帮助读者把上面三块内容串联起来下面给出一个完整的模拟例子我们已知线性模型但存在一个未知的非线性干扰。用神经网络在线学习干扰再用 MPC 处理约束。这里的训练和验证可以放在一个脚本里方便你对照输出。# 文件路径full_control_pipeline.py import numpy as np import torch import torch.nn as nn import cvxpy as cp # 真实系统: x_{k1} x_k dt*v_k, v_{k1} v_k dt*(u_k d(x_k)) # 其中 d(x) 0.1*sin(3*x) 为未知干扰项 dt 0.1 def true_dynamics(x, v, u): d 0.1 * np.sin(3 * x) x_next x dt * v v_next v dt * (u d) return x_next, v_next # 训练一个神经网络拟合 d(x) data_x np.random.uniform(-3, 3, (2000, 1)) data_d (0.1 * np.sin(3 * data_x)).ravel() net nn.Sequential(nn.Linear(1, 32), nn.ReLU(), nn.Linear(32, 1)) opt torch.optim.Adam(net.parameters(), lr0.005) loss_fn nn.MSELoss() for _ in range(500): x_in torch.tensor(data_x, dtypetorch.float32) d_true torch.tensor(data_d, dtypetorch.float32).unsqueeze(1) pred_d net(x_in) loss loss_fn(pred_d, d_true) opt.zero_grad() loss.backward() opt.step() # 用学习到的 d_hat 做 MPC 仿真 A np.array([[1.0, dt], [0.0, 1.0]]) B np.array([[0.0], [dt]]) def mpc_step(x0, v0, horizon5): x0_vec np.array([x0, v0]) x cp.Variable((2, horizon 1)) u cp.Variable((1, horizon)) # 注意这里使用近似模型但把学习到的干扰项线性化到控制输入中 constraints [x[:, 0] x0_vec] for k in range(horizon): d_hat net(torch.tensor([[x[0, k].value if hasattr(x[0, k], value) else x0]], dtypetorch.float32)).item() # 简化处理直接在当前状态处线性化干扰项 constraints.append(x[:, k 1] A x[:, k] B u[:, k] np.array([[0.0], [d_hat * dt]])) constraints.append(cp.abs(u[0, k]) 1.0) cost sum(cp.quad_form(x[:, k] , np.eye(2)) for k in range(1, horizon1)) \ sum(cp.quad_form(u[:, k], np.eye(1) * 0.1) for k in range(horizon)) prob cp.Problem(cp.Minimize(cost), constraints) prob.solve(solvercp.OSQP) return u.value[0, 0] # 仿真闭环 state np.array([2.0, 0.0]) traj [] for _ in range(30): traj.append(state.copy()) u_first mpc_step(state[0], state[1]) state[0], state[1] true_dynamics(state[0], state[1], u_first) traj np.array(traj) print(仿真结束轨迹最后状态:) print(traj[-1])这段代码比前面的示例更接近真实工程场景系统存在未知干扰神经网络负责学习干扰项MPC 负责约束和闭环。运行后轨迹最后状态应该接近原点。如果输出明显发散最常见的造成原因是d_hat的数值类型或x[0, k].value的使用问题可以参考第 7 节的排查表。7. 运行结果与验证方法7.1 如何判断 LQR 示例成功lqr_example.py输出的 K 矩阵应是一个形状为(1, 2)的数组数值范围在 0.4 到 1.4 之间。如果出现LinAlgError或ValueError说明你安装的 scipy 版本与 Python 版本不匹配升级 scipy 即可。7.2 如何判断 MPC 示例成功mpc_example.py输出的u应落在 [-1, 1] 之间。更重要的是状态序列的第一个值应为 2最后一个值应明显小于初始值。如果状态发散优先检查dt设置是否过小导致模型比例关系失调以及 OSQP 求解器是否正常安装。cvxpy 默认会尝试多种求解器建议显式指定solvercp.OSQP。7.3 如何判断学习控制示例成功learned_mpc_demo.py运行后神经网络输出与真实 sin 值应非常接近误差不超过 0.05 即为正常。如果误差很大加大训练 epoch 数或增加网络层宽度。注意不要用 CPU 跑超大网络这个示例本身只是一个教学演示不需要 GPU。7.4 常见判断误区很多新手把强化学习用在一切场景但至少从 AA203 课程的角度看模型可用的场景一定优先考虑 MPC 或 LQR。如果模型不准确再用学习组件去补偿而不是抛弃模型。这个原则可以帮助你避免大量无效调参。8. 常见问题与排查思路学习最优控制和基于学习的控制时大家容易踩坑的点非常集中。下面列出一份排查表。问题现象可能原因排查方式解决方案LQR 求解报错 “Solve failed”scipy 版本过老或 Python 位数不匹配检查 scipy 版本pip install --upgrade scipyMPC 状态轨迹发散dt 与实际系统时间常数不匹配打印每一步状态检查单位增大 Q 或减小 R重新调参cvxpy 显示 “Problem is infeasible”约束过紧如u1 无法完成状态转移神经网络拟合精度低数据范围不足或网络容量小打印训练 loss 曲线增加数据量、加层或换激活函数仿真速度很慢在线求解 MPC 代价较高使用 profiling 定位耗时用显式 MPC 离线查表或缩短时域强化学习难以收敛奖励稀疏、状态尺度不统一打印 episode reward 和状态直方图做 reward shaping、归一化输入模型基学习中 d_hat 数值类型错误torch tensor 与 numpy 混用检查 dtype 和 requires_grad使用.detach().numpy()并设置requires_gradFalse如果遇到其他奇怪问题最佳做法是先把问题简化为最小复现固定一个状态、固定一个控制步单独测试模型预测、优化求解、学习补偿三部分是否各自正确。这个方法被反复验证有效。9. 最佳实践与工程建议9.1 从简单问题开始不要一上来就用深度学习很多学习者一看到“Learning-Based Control”就想着用 PPO 训练机械臂。但从课程和工程实践看最稳妥的路径是先提一个线性模型用 LQR 观察闭环行为。加入约束切换到 MPC。模型不精确时用系统辨识或神经网络拟合残差把学习模型嵌入 MPC。最后才考虑端到端强化学习且通常要配合安全屏障和监控机制。这条路线的好处是每个步骤都可验证、可回滚。工程中最怕就是直接上黑盒策略出了问题根本无从排查。9.2 命名、配置与记录建议把你的控制实验代码按以下结构组织control_lab/ ├── models/ # 动力学模型和神经网络定义 ├── controllers/ # LQR, MPC, RL 控制器实现 ├── envs/ # 仿真环境和真实接口 ├── configs/ # yaml 或 json 配置 ├── logs/ # 训练和运行日志 └── scripts/ # 一键运行脚本每一步实验都要记录模型参数、控制器参数、求解器配置、数据集生成方式。最优控制调参往往花费大量时间在 Q、R 矩阵上一个自动化的配置管理可以帮你快速回溯。9.3 安全与生产环境提醒如果要把基于学习的控制部署到真实设备一定要设置保护层控制输出必须经过饱和约束。推荐使用安全屏障函数进行在线安全检查。学习模型的预测置信度不能无限信任至少要设置阈值。系统异常时要有急停路径。这个问题在课程中被反复强调AA203 也包含安全控制的模块。做工程控制的同学应该把这些内容当作常识而不是论文里的“额外对象”。9.4 与团队协作的实践控制算法开发往往是跨学科协作你会需要机械工程师提供动力学模型硬件工程师提供执行机构限制算法工程师负责优化求解。建议把控制器接口定义清晰比如输入是状态观测值输出是控制指令内部使用什么算法可以让其他团队不必关心。这样可以避免大量低效沟通。10. 总结与后续学习方向回到开头的问题最优控制和基于学习的控制不是对手而是工具链上的不同环节。斯坦福 AA203 课程最值得学习的地方不在于某个具体公式而在于它教你如何在模型、数据、约束和安全这四个要素之间做设计取舍。如果你现在刚开始接触建议先把本文的 LQR 和 MPC 示例跑通再尝试把神经网络模型接入 MPC。这份代码实践会给你带来扎实的直观理解。接下来可以继续阅读以下方向深度学习系统辨识与不确定性量化鲁棒 MPC 与随机 MPC控制屏障函数与安全强化学习Actor-Critic 算法的数学原理及其与控制的关系在这些方向中AA203 提供的数学基础和 Julia 作业可以帮助你建立严谨的推导能力。单纯看视频和字幕并不会带来太大收获动手推导和写代码才是真正提升的方式。建议收藏这篇文章把它作为你进入最优控制与学习控制领域的第一张地图。
)
` 作为 Python 随机数生成的基础函数，凭借其简洁的语法、均匀的分布特性和灵活的扩展能力)
