[科普中国]-最大值原理

最大值原理的内涵

设系统的状态方程为:

控制u属于 中的某个有界闭集U，最优控制问题是求u∈U，使得

最小。

假设f(x,u,t)的分量为 并假设

都是其自变量的连续函数。用u*、x*分别表示最优控制和最优轨迹，则u*使J(u)取最小值的必要条件是：

（1）存在协状态向量λ*(t)，它和x*(t)，u *(t)一起满足正则方程

（2）哈密顿函数作为u的函数在u=u*(t)取最小值，即

（3）正则方程的边界条件：

a.若 是给定的，则边界条件为

b.如果tf给定，x(tf)自由，那么边界条件为

c.如果tf也是自由的，还要加一个条件：

以确定tf。

d.如果要求x(tf)落在m维流型S上，

那么边界条件为

如果tf是自由的，再增加条件

可以看出，上述的正则方程和边界条件与u无约束的情况用变分法导出的完全相同。

最大值原理与哈密顿函数如果最优控制问题是求u∈U，使得目标函数J(u)最大，在最大值原理中，最优控制u*应使哈密顿函数值最大，即

对区间[t0 ,tf]上的所有t成立，其含义是：对于由最优控制u=u*(t)引发的x*(t)和协状态λ*（t），哈密顿函数作为u函数，在u=u*(t)处取最小值。

在u为标量的情况，必要条件的含义是：在特定的时刻t和特定的x*(t)、λ*（t）曲线，哈密顿函数的右端可以看做u的函数，最优控制u*(t)使它取最小值

当U为闭区间[a,b]时，允许的控制满足

哈密顿函数仅作为u的函数，有如图所示的三种情况：

第一种情况：哈密顿函数的最小值在区间[a,b]内的点达到。如果哈密顿函数关于u是可微的，则必要条件为

其他两种情况是哈密顿函数的最小值在区间[a,b]的边界点达到，这时则必须用更广泛的条件

也就是用条件

来描述。

最大值原理求最优策略的步骤当x(tf)是自由的时，应用最大值原理求最优策略的具体步骤如下：

第1步：构造系统的哈密顿函数为

第2步：由

导出决策变量u与状态变量x、协状态变量λ的关系，记为u=u(x,λ)。

第3步：写出以下正则（正规）方程组为

将u=u(x,λ)带入正则方程，解出x=x*(t),λ=λ*(t)。

第4步：将x=x*(t),λ=λ*(t)代入u=u(x,λ)得到最优策略

如果决策问题还要求满足边界条件x(tf)=xf ，则以这个边界条件取代正则方程组中的条件：

最大值原理的局限性最大值原理虽然解决了古典变分法所遇到的困难，但是它也只给出了最优控制问题解的必要条件，而不是充分条件，所以由最大值原理所求的控制函数不一定是最优控制，因为有可能最优控制根本不存在。如果最优控制问题的解存在，但是从这方法得到的控制函数不止一个，就需要进行逐个检验，从中确定出最优解，如果该问题的实际物理背景有最优控制，而从最大值原理得到的解又只有一个，那么这个解一定是最优控制1。