1. 最优控制问题的数学表述最优控制理论是现代控制理论中最为精妙且实用的分支之一。在第六章的下半部分我们将深入探讨最优控制问题的数学本质。一个标准的最优控制问题可以表述为在给定的系统动态约束下寻找使某个性能指标达到极值的控制输入。1.1 性能指标函数的形式性能指标函数又称代价函数通常有以下三种基本形式拉格朗日型LagrangeJ ∫L(x,u,t)dt梅耶型MayerJ φ(x(t_f),t_f)波尔扎型BolzaJ φ(x(t_f),t_f) ∫L(x,u,t)dt其中拉格朗日型关注整个过程的累积代价梅耶型只关心终端状态而波尔扎型则是前两者的结合。在实际工程应用中波尔扎型最为常见因为它能同时考虑过程性能和终端性能。1.2 约束条件的分类最优控制问题中的约束条件主要分为三类微分约束由系统动力学方程决定如ẋ(t)f(x(t),u(t),t)路径约束对状态和控制变量的瞬时限制如g(x(t),u(t),t)≤0边界约束对初始和终端状态的限制如x(t_0)x_0ψ(x(t_f),t_f)0这些约束条件共同定义了可行解的空间范围。在实际应用中路径约束往往是最难处理的特别是当它们涉及控制变量的不等式约束时。2. 变分法与最优控制变分法是求解最优控制问题的经典数学工具它通过引入拉格朗日乘子将约束优化问题转化为无约束问题。2.1 欧拉-拉格朗日方程对于最简单的无约束变分问题极值曲线必须满足欧拉-拉格朗日方程 ∂L/∂x - d/dt(∂L/∂ẋ) 0这个方程可以推广到多变量和带约束的情况。在最优控制中我们通常处理的是受控动力学系统因此需要引入哈密顿函数来简化推导。2.2 哈密顿函数与庞特里亚金极小值原理哈密顿函数定义为 H(x,u,λ,t) L(x,u,t) λ^T f(x,u,t)其中λ(t)称为协态变量或拉格朗日乘子。庞特里亚金极小值原理指出最优控制u*(t)必须满足 H(x*(t),u*(t),λ*(t),t) ≤ H(x*(t),u(t),λ*(t),t) ∀u∈U这个原理将最优控制问题转化为寻找使哈密顿函数全局最小的控制输入。值得注意的是对于线性系统二次型性能指标LQR问题这个极小值条件可以简化为一个显式表达式。3. 动态规划与哈密顿-雅可比-贝尔曼方程动态规划提供了另一种求解最优控制问题的方法特别适用于具有马尔可夫性质的多阶段决策问题。3.1 最优性原理贝尔曼的最优性原理指出最优策略具有这样的性质即无论初始状态和初始决策如何剩余的决策必须构成关于由第一个决策产生的状态的最优策略。这个原理导致了价值函数的递推关系 V(x,t) min_u[L(x,u,t)Δt V(xf(x,u,t)Δt,tΔt)]3.2 HJB方程的推导当Δt→0时上述递推关系导出了著名的哈密顿-雅可比-贝尔曼方程 -∂V/∂t min_u[H(x,u,∂V/∂x,t)]HJB方程是一个非线性偏微分方程其解给出了最优价值函数。对于无限时域问题∂V/∂t0方程简化为代数形式。提示虽然HJB方程理论上很完美但除了少数特殊情况外解析解很难求得。数值解法如水平集方法在实际中更为常用。4. 线性二次型调节器LQRLQR是最优控制理论中最为成熟且应用广泛的特例其解析解可以通过黎卡提方程获得。4.1 有限时域LQR问题考虑系统ẋAxBu性能指标J1/2 x^T(t_f)S_fx(t_f) 1/2 ∫(x^TQx u^TRu)dt最优控制律为 u*(t) -R^{-1}B^TP(t)x(t)其中P(t)满足微分黎卡提方程 -Ṗ A^TP PA - PBR^{-1}B^TP Q 边界条件P(t_f)S_f4.2 无限时域LQR当t_f→∞时P(t)收敛到常数矩阵P_∞满足代数黎卡提方程 A^TP PA - PBR^{-1}B^TP Q 0此时的反馈控制律是时不变的 u*(t) -Kx(t), KR^{-1}B^TP_∞注意LQR控制器的性能高度依赖于Q和R矩阵的选择。通常需要多次调整这些权重矩阵才能获得满意的控制效果。5. 数值求解方法对于无法获得解析解的最优控制问题数值方法成为必不可少的工具。5.1 直接法直接法将连续时间最优控制问题离散化为非线性规划问题控制参数化将u(t)表示为有限个参数的函数状态离散化使用数值积分近似系统动态约束处理将路径约束转化为离散点约束常用的直接法包括伪谱法、直接打靶法和直接配点法。这些方法的优点是能处理复杂的约束条件但计算量较大。5.2 间接法间接法先应用最优性必要条件如极小值原理得到两点边值问题再用数值方法求解推导最优性必要条件离散化协态方程使用牛顿类方法求解非线性方程组间接法通常精度更高但对初始猜测更敏感且难以处理路径约束。6. 工程应用中的实际问题在实际工程应用中理论上的最优控制往往需要做出各种调整和妥协。6.1 模型不确定性的处理真实系统与数学模型之间存在差异常见解决方法包括鲁棒控制设计考虑最坏情况下的性能自适应控制在线调整控制器参数随机最优控制考虑噪声和扰动6.2 实时性要求许多控制系统需要在有限计算资源下实时运行这导致简化模型的使用查找表的预计算显式模型预测控制的采用我在实际项目中发现最优控制器的采样率选择至关重要。过高的采样率会导致计算负担过重而过低的采样率则可能引发稳定性问题。经验法则是选择采样频率为系统带宽的5-10倍。7. 现代发展与应用前沿最优控制理论仍在不断发展新的方法和应用不断涌现。7.1 模型预测控制MPCMPC是一种基于在线优化的控制策略其核心思想是在每个采样时刻求解有限时域最优控制问题只实施第一个控制输入下一时刻重新优化MPC能显式处理约束特别适合过程控制和机器人领域。现代MPC已经能够处理非线性系统和实时性要求。7.2 强化学习与最优控制强化学习可以看作是在模型未知情况下的最优控制。两者之间的深刻联系体现在贝尔曼方程在两者中的核心地位价值函数与最优成本函数的对应关系策略梯度方法与传统优化技术的相似性深度强化学习的成功为复杂系统的最优控制提供了新思路但也带来了样本效率低、安全性保障等新挑战。
1. 最优控制问题的数学表述最优控制理论是现代控制理论中最为精妙且实用的分支之一。在第六章的下半部分我们将深入探讨最优控制问题的数学本质。一个标准的最优控制问题可以表述为在给定的系统动态约束下寻找使某个性能指标达到极值的控制输入。1.1 性能指标函数的形式性能指标函数又称代价函数通常有以下三种基本形式拉格朗日型LagrangeJ ∫L(x,u,t)dt梅耶型MayerJ φ(x(t_f),t_f)波尔扎型BolzaJ φ(x(t_f),t_f) ∫L(x,u,t)dt其中拉格朗日型关注整个过程的累积代价梅耶型只关心终端状态而波尔扎型则是前两者的结合。在实际工程应用中波尔扎型最为常见因为它能同时考虑过程性能和终端性能。1.2 约束条件的分类最优控制问题中的约束条件主要分为三类微分约束由系统动力学方程决定如ẋ(t)f(x(t),u(t),t)路径约束对状态和控制变量的瞬时限制如g(x(t),u(t),t)≤0边界约束对初始和终端状态的限制如x(t_0)x_0ψ(x(t_f),t_f)0这些约束条件共同定义了可行解的空间范围。在实际应用中路径约束往往是最难处理的特别是当它们涉及控制变量的不等式约束时。2. 变分法与最优控制变分法是求解最优控制问题的经典数学工具它通过引入拉格朗日乘子将约束优化问题转化为无约束问题。2.1 欧拉-拉格朗日方程对于最简单的无约束变分问题极值曲线必须满足欧拉-拉格朗日方程 ∂L/∂x - d/dt(∂L/∂ẋ) 0这个方程可以推广到多变量和带约束的情况。在最优控制中我们通常处理的是受控动力学系统因此需要引入哈密顿函数来简化推导。2.2 哈密顿函数与庞特里亚金极小值原理哈密顿函数定义为 H(x,u,λ,t) L(x,u,t) λ^T f(x,u,t)其中λ(t)称为协态变量或拉格朗日乘子。庞特里亚金极小值原理指出最优控制u*(t)必须满足 H(x*(t),u*(t),λ*(t),t) ≤ H(x*(t),u(t),λ*(t),t) ∀u∈U这个原理将最优控制问题转化为寻找使哈密顿函数全局最小的控制输入。值得注意的是对于线性系统二次型性能指标LQR问题这个极小值条件可以简化为一个显式表达式。3. 动态规划与哈密顿-雅可比-贝尔曼方程动态规划提供了另一种求解最优控制问题的方法特别适用于具有马尔可夫性质的多阶段决策问题。3.1 最优性原理贝尔曼的最优性原理指出最优策略具有这样的性质即无论初始状态和初始决策如何剩余的决策必须构成关于由第一个决策产生的状态的最优策略。这个原理导致了价值函数的递推关系 V(x,t) min_u[L(x,u,t)Δt V(xf(x,u,t)Δt,tΔt)]3.2 HJB方程的推导当Δt→0时上述递推关系导出了著名的哈密顿-雅可比-贝尔曼方程 -∂V/∂t min_u[H(x,u,∂V/∂x,t)]HJB方程是一个非线性偏微分方程其解给出了最优价值函数。对于无限时域问题∂V/∂t0方程简化为代数形式。提示虽然HJB方程理论上很完美但除了少数特殊情况外解析解很难求得。数值解法如水平集方法在实际中更为常用。4. 线性二次型调节器LQRLQR是最优控制理论中最为成熟且应用广泛的特例其解析解可以通过黎卡提方程获得。4.1 有限时域LQR问题考虑系统ẋAxBu性能指标J1/2 x^T(t_f)S_fx(t_f) 1/2 ∫(x^TQx u^TRu)dt最优控制律为 u*(t) -R^{-1}B^TP(t)x(t)其中P(t)满足微分黎卡提方程 -Ṗ A^TP PA - PBR^{-1}B^TP Q 边界条件P(t_f)S_f4.2 无限时域LQR当t_f→∞时P(t)收敛到常数矩阵P_∞满足代数黎卡提方程 A^TP PA - PBR^{-1}B^TP Q 0此时的反馈控制律是时不变的 u*(t) -Kx(t), KR^{-1}B^TP_∞注意LQR控制器的性能高度依赖于Q和R矩阵的选择。通常需要多次调整这些权重矩阵才能获得满意的控制效果。5. 数值求解方法对于无法获得解析解的最优控制问题数值方法成为必不可少的工具。5.1 直接法直接法将连续时间最优控制问题离散化为非线性规划问题控制参数化将u(t)表示为有限个参数的函数状态离散化使用数值积分近似系统动态约束处理将路径约束转化为离散点约束常用的直接法包括伪谱法、直接打靶法和直接配点法。这些方法的优点是能处理复杂的约束条件但计算量较大。5.2 间接法间接法先应用最优性必要条件如极小值原理得到两点边值问题再用数值方法求解推导最优性必要条件离散化协态方程使用牛顿类方法求解非线性方程组间接法通常精度更高但对初始猜测更敏感且难以处理路径约束。6. 工程应用中的实际问题在实际工程应用中理论上的最优控制往往需要做出各种调整和妥协。6.1 模型不确定性的处理真实系统与数学模型之间存在差异常见解决方法包括鲁棒控制设计考虑最坏情况下的性能自适应控制在线调整控制器参数随机最优控制考虑噪声和扰动6.2 实时性要求许多控制系统需要在有限计算资源下实时运行这导致简化模型的使用查找表的预计算显式模型预测控制的采用我在实际项目中发现最优控制器的采样率选择至关重要。过高的采样率会导致计算负担过重而过低的采样率则可能引发稳定性问题。经验法则是选择采样频率为系统带宽的5-10倍。7. 现代发展与应用前沿最优控制理论仍在不断发展新的方法和应用不断涌现。7.1 模型预测控制MPCMPC是一种基于在线优化的控制策略其核心思想是在每个采样时刻求解有限时域最优控制问题只实施第一个控制输入下一时刻重新优化MPC能显式处理约束特别适合过程控制和机器人领域。现代MPC已经能够处理非线性系统和实时性要求。7.2 强化学习与最优控制强化学习可以看作是在模型未知情况下的最优控制。两者之间的深刻联系体现在贝尔曼方程在两者中的核心地位价值函数与最优成本函数的对应关系策略梯度方法与传统优化技术的相似性深度强化学习的成功为复杂系统的最优控制提供了新思路但也带来了样本效率低、安全性保障等新挑战。
