[科普中国]-梯度投影法

概念

梯度投影法(gradient projection method)利用梯度的投影技巧求约束非线性规划问题最优解的一种方法。

求带线性约束的非线性规划问题更为有效。它是从一个基本可行解开始，由约束条件确定出凸约束集边界上梯度的投影，以便求出下次的搜索方向和步长。每次搜索后，都要进行检验，直到满足精度要求为止。这种方法是罗森于1960年提出的，戈德福布和拉匹塔斯于1968年作了改进。

基本原理考虑最优化问题

其中 ， 。

的可行域记为 ，对任意 ，令

定理1：设 ，则 为 在 处的可行方向的充分必要条件是

推论1：设 是 在 处的可行方向，令

则对任意 ，有 。

定义1：设 是 阶实对称矩阵，如果 ，则称 是投影矩阵。

定理2：设 是 阶投影矩阵，则

（1） 是半正定矩阵；

（2） 也是投影矩阵；

（3）线性子空间 与 正交，其中

（4）对任意 ，有唯一分解式

定理3：设 且 ，记

如果 ，则

（1） 是投影矩阵；

（2）当 时， 是 在 处的可行下降方向。

定理4：设满足定理3的条件且，令

（1）如果，则是的点；

（2）如果，令

则是投影矩阵，且是在处的可行下降方向。1