[科普中国]-极值搜索算法

产生与发展

极值搜索算法是由Tsien教授于1954年提出的1一种自适应控制方法2。直至20世纪80年代，线性自适应控制理论取得重大突破后，极值搜索算法以其对控制对象的性能指标具有优越的极值搜索能力，再次受到人们的重视。1992 年极值搜索算法首次采用周期信号与滑模控制相结合3，随后Drakunov 采用正弦函数作为激励信号，成功地将滑模极值搜索算法运用到 ABS（Automative Brake Systems）中4。1995 年Astrom和Wittenmark就预 言：极值搜索算法理论将成为自适应控制中非常有前景的研究领域5。随后，该理论在实际控制领域中得到成功的应用。 在实际控制系统中，由于控制系统参数的不确定性和实时变化的特点，使得参考量与输出量之间的函数关系很难被知晓，然而采用极值搜索控制算法则可以获得期望的目标。针对极值搜索算法对控制条件的严格限制，1999年，M.Krstic提出了快速自适应极值搜索算法理论6，通过加入动态补偿装置，则可以提高反馈环节的幅值裕度和相角裕度，对控制条件具有更大的开放性，大大提高系统的反应速度，较普通极值搜索算法具有更好的动态性能。 2000年，Banavar 利用准确地掌握性能函数的梯度优化极值搜索算法，同年 Speyer 采用有限的参数和自适应装置估计出性能函数的近似表示形式。Rotea和Walsh 分别成功地在连续时间和离散时间系统中运用多变量极值搜索算法。2002年，Y. Pan，U.Ozguner和T. Acarman 证明了带有滑模控制的极值搜索算法的稳定性7，其中被控系统的控制性能由预先设定的滑动模式所决定，不会受到参数的不确定性和外部干扰的影响，确保系统以一个预先设定的速度收敛到极值，因而滑模极值搜索算法是一个很有发展空间的研究领域。 纵观极值搜索算法理论的发展，已经由最初的单变量极值搜索算法理论发展到多变量极值搜索算法理论，涉及连续时间和离散时间的系统，然而该控制理论应用的范围还是比较有限，针对极值搜索算法理论的不足，文献8又提出了退火回归神经网络极值搜索算法，从而极大地推广了极值搜索算法的应用范围，并且简化了系统的稳定性分析。9

单变量极值搜索算法理论最初的极值搜索算法理论所研究的对象主要是单变量的极值搜索问题，所谓单变量极值搜索问题是指在变量的搜索过程中只需要对一个变量的极值寻优。由于受到自适应控制理论知识匮乏的限制，使得极值搜索算法的研究一直处于停滞不前，直到关于极值搜索算法的稳定性分析得到首次公开发表后1011，对于极值搜索算法的研究才进入第二个春天，在 ACC 2000 上发表了多篇关于极值搜索算法的文章。但是在设计过程中为了保证系统的性能，极值搜索算法有一套很严格的设计准则，虽然存在了很多的限制条件，然而对这些限制条件的进一步深入研究工作已激励起当时科研先驱们投入到 一种新的有意义的工作中。因而，随后陆续成功的将极值搜索算法应用到轴向气流压缩机、汽车点火系统、面粉发酵过程等工程中，使得在 20 世纪 90 年代末极值搜索算法理论取得了突飞猛进的发展。9

当系统输出与待搜索变量之间存在最大值或最小值关系时，即可以用某种损失函数表示时，运用单变量极值搜索算法可以在没有准确知道或者不知晓损失函数表示形式和待搜索变量时，仍能使系统输出取得最大值或最小值。类似于MRAS设计方法中的梯度法，首先引入损失函数，通过滤波环节， 得到损失函数的梯度，使待搜索变量沿着损失函数的负梯度方向变化，可以轻松地使损失函数得到最大值或最小值。当然，自适应增益的取值范围取决于输入信号和过程增益的大小，超过限度的自适应增益会造成系统的不稳定，这给单变量极值搜索算法设计带来很大障碍。 9

文献10首次对一般非线性对象的极值搜索控制稳定性作出了深入地分析，而文献11则提出了在单变量极值搜索算法中加入动态补偿装置，既可以保证系统稳定性，同时也加快了系统的收敛速度， 而且消除了自适应增盈较小的要求。动态补偿装置的作用相当于在比例环节中加入微分器，从而提高了系统的阻尼；加入动态补偿装置也即增加了系统的相角裕度和幅值裕度。但是它们的分析仅仅局限于系统参数是定步长变化的情况，并且其分析结果会导致一个很困难的设计方法。2002 年，Krstic.M和 Ariyur提出了一种更为系统的设计方法，解决了一系列的遗留问题，尤其消除了控制对象的输出动态必须是严格真和系统控制频率必须慢的严格要求。针对系统在加入动态补偿装置后对系统的正弦输入信号的频率提出了严格的限制，为了更好地满足系统的设计需要，文献8和12提出了RBFNN快速极值搜索算法设计理论，从而为设计极值搜索控制器拓宽了视野。 9

多变量极值搜索算法理论所谓多变量极值搜索算法问题是指在变量的搜索过程中需要同时对多个变量的极值寻优。Rotea 和 Walsh 首次分别研究多变量极值搜索算法，提出了一个简单模型，适用于一般的定参数对象的在线优化问题，同时要求控制对象的输出动态是严格真的。由于受到该算法稳定性的要求，迫使系统只能采用较慢频率的作用力，从而导致了系统收敛速度较慢。但是以上几种算法都缺少一种系统的设计方法用于分析多变量的极值搜索问题。 在 2002 年，Krstic通过运用平均化方法，将多变量极值搜索算法的应用范围推广至变参数系统，同时消除了对系统稳定性的严格要求13。 多变量极值搜索算法是采用不同的滤波器得到各自变量的梯度，再将积分后的各变量值经过综合、 解调后作为系统的控制量，由于损失函数对于每个搜索变量的梯度都是不同的，因而分离搜索变量时要防止相互间的干扰。这种控制算法最近几年才发展起来，在能量储藏调节轮等机械装置上有所应用， 文献8将多变量极值搜索算法应用于无人机紧密编队飞行中。 9

滑模极值搜索算法理论1974 年，Korovin和 Utkin 提出了滑模静态最优化非线性程序算法14，这是首次将滑模控制与最优化算法相结合，这种最优化算法可以在不知晓参考函数梯度的情况下，运用滑模控制，使得控制对象输出跟踪单调递减参考函数取得最优值。然而随后滑模控制并没有广泛的运用到最优化控制中，直到1992年由Drakunov和Özgüner 首次将滑模控制与极值搜索算法相结合，并采用周期激励信号，成功地运用到实际系统15，随后在 1995年，Drakunov 成功地在输入量不可测和损失函数不可知的情况下，采用正弦信号作为激励信号，将滑模极值搜索 算法运用到ABS系统中16。2000 年 Haskara 通过在系统反馈中引入一个自由参数，利用双时间轴滑模控制完成了系统性能的最优化。 滑模极值搜索算法继承了滑模控制的优点，具有收敛速度可以预先设置、鲁棒性强、不受参数不确定和外界干扰的特点。但是区别于单纯滑模控制只有惟一的滑模线，滑模极值搜索算法拥有一系列的滑模线，如此设计可以保证无论系统的初始状态如何都可以在有限的时间内到达滑模线。9

斜率搜索算法理论斜率搜索算法是针对自适应非线性模型的一种新的设计方法，主要考虑到实际系统中参考输入和系统输出之间映射的极点很容易受到有限干扰的影响，从而导致系统的不稳定。该算法可以控制系统的输出收敛于参考输入和系统输出之间映射的斜率上的任一点。实际上，斜率搜索算法是极值搜索算法的进一步推广，因此它也可以搜索到参考输入和系统输出之间映射的斜率为零的极点。 9

离散时间极值搜索算法理论离散时间的极值搜索算法是最近几年才研究的一种优化算法，因而还有许多方面需要探索。2001年，M. Krstic.、K. B. Ariyur 和 J. S. Lee 提出一类离散时间系统极值搜索控制的稳定性问题17，此类系统是由动态线性输入和带有极值的静态非线性组而成，采用双时间轴一般原理得到一个充足条件，在此条件下输出信号渐近收敛到极至的极小邻域内。2002年，Y. D. Pan 和 U. Ozguner总结出了 3 种离散时间的极值搜索算法18，第一种是通过最小方差估计实现，第二种的极值点估计是通过近似静态为抛物线，第三种的极值点估计是通过近似静态为椭圆，通过仿真证实所提出的算法都具有可行性。9

退火回归神经网络极值搜索算法理论文献10和11首次对极值搜索算法的稳定性进行了分析，但他们的稳定性证明都经过了复杂的数学公式转换及假设条件的限制，对研究极值搜索问题产生了一定难度，同时针对在一般极值搜索算法理论中，系统都存在控制量须来回切换和输出存在“颤动”现象的问题，文献8提出将回归神经网络与极值搜索问题相结合的方法。首先将极值搜索控制问题转化为求解损失函数的斜率为零的点，然后构造出回归神经网络，通过回归神经网络寻找到此 点，并将控制对象稳定在此点上。由于利用退火回归神经网络寻求最优点的过程中，摒弃了极值搜索算法原有的正弦激励信号，从而较好地解决了系统输出的“颤动”问题，消除了控制量的来回切换，同 时系统具有更好的动态性能，且极大简化了极值搜索算法的稳定性分析，同时将退火回归神经网络极值搜索算法的应用推广至多变量极值搜索算法中。 9