[科普中国]-逐次超松驰迭代法

简介

为解决实际问题中大维数线性代数方程组的求解问题，提出了许多迭代法。但大多数迭代法不是对各类线性方程组都有收敛性。在解题时，对原方程组矩阵作一根本的变换，从而可能使条件数变坏，也可能破坏了变换前后方程组的等价性，以及丧失使原方程组的对称性等。通过对GS法进行改进，从而产生了逐次超松弛(SOR)迭代法。

SOR方法的思路为：如果能够简单有效地确定单个样本加入样本集后对训练结果的影响，一方面，出现新的样本时可以利用原来的一训练结果而不必重新开始；另一方面，让训练样本逐个进入样本集可以简化寻优过程，提高算法速度。这实际上是将样本集中的样本数减少到一个。

对于逐次超松弛迭代法，松弛因子的选取对算法的收敛速度有很大影响，通常对于方程组Ax=Y，若A为正定矩阵，则当0