[科普中国]-自适应共振理论

背景

人类智能的特性之一是能在不忘记以前学习过的事物的基础上继续学习新事物。这项特性是目前多数类神经网络模型所欠缺的，这些类神经网络模型(例如反向传播类神经网络)一般都需要事先准备好的训练模式集进行训练。当训练完毕之后，神经元之间的“连接强度”就确定了，除非再有新的训练动作发生，否则这些连接强度不会再有任何改变。当有新模式出现时，这些类神经网络模型只能由用户将新模式加到训练模式中，形成新的训练模式集，然后重新训练所有神经元间的连接强度，也就是旧有的知识必须重新训练一遍。这些类神经网络模型，只有记忆而没有智能，没有辨识新事件出现的能力，也没有自我学习扩充记忆的能力。为了试图解决这些问题，Grossberg 等人模仿人的视觉与记忆的交互运作，提出所谓自适应共振理论。

简介Grossberg 等人模仿人的视觉与记忆的交互作用，提出了所谓自适应共振理论，以解决神经网络学习的稳定性/可塑性两难问题。在这里，所谓稳定性是指当新事物输入时，旧事物的特征应适当地保留；可塑性是指当新事物输入时，网络应迅速地学习。ART 不像其它人工神经网络模型，分为学习阶段及测试阶段，需事先准备好训练模式集及测试模式集，ART 时时处于学习状态和测试状态，即是说它无需训练。

ART 有很多版本，ART1 是最早的版本，由 Carpenter 和 Grossberg 于 1987 年提出，ART1 含有并行架构的主-从式算法，在算法的激活及匹配函数中运用了集合运算，主要处理只含 0 与 1 的影像（即黑白）识别问题。ART2 可以处理灰度（即模拟值）输入。ART3 具有多级搜索架构，它融合了前两种结构的功能并将两层神经网络扩展为任意多层的神经元网络。由于 ART3 在神经元的运行模型中纳入了神经元的生物电化学反应机制，因而其功能和能力得到了进一步扩展。

优点Grossberg所提出的ART理论模型有如下一些主要优点：

1．可以进行实时学习，能适应非平稳的环境。

2．对于已经学习过的对象具有稳定的快速识别能力；同时，亦能迅速适应未学习的新对象。

3．具有自归一能力，根据某些特征在全体中所占的比例，有时作为关键特征，有时当作噪声处理。

4．不需要预先知道样本结果，是无监督学习；如果对环境作出错误反映则自动提高“警觉性”，迅速识别对象。

5．容量不受输入通道数的限制，存储对象也不要是正交的。

ART1ART1 的基本架构如图 1所示，它包含三部分：监视子系统、决策子系统和增益控制 。

监视子系统ART1 监视子系统中，接收模式输入的一层叫 F1 层，它模拟视网膜神经细胞，其神经元均为以瞬时记忆运行的 Shunting 模型，每一神经元相当于影像的一个像素 ，其外界输入I 表示接收影像的所有像素形成的矢量，输出S表示经处理（或者说滤波）后的影像的像素矢量。输出影像S经 F1 到识别层 F2 的“连接”进行辨识分类，激发 F2 层中某个神经元（F2 的每一个神经元代表一个聚类）。F2 层可视为脑神经细胞，具有 On-Center/Off-Surround 功能并以瞬时记忆运行的 Shunting 模型建模，运行结果导致只有某一神经元受到剌激，然后经 F2 到 F1 的“连接”联想起一影像，反馈到模拟视网膜神经细胞的接收层 F1。F1 到 F2 的“连接”以 Instar 的方式学习，F2 到 F1 的“连接”以 Outstar 方式学习，这些连接权是 ART1 长时记忆存放的地方。

决策子系统决策子系统的作用在于判别回忆的影像是否足够好。当回忆的影像和接收的影像足够吻合时，F1 到 F2 及 F2 到 F1 的“连接”及会同时进行更新，这就是 ART名称中“共振”的由来。若回忆影像与接收影像比对不吻合时，决策子系统会发出复位信号到 F2，将己获胜的神经元标记起来，然后再寻找其他神经元看回忆影像与接收影像比对是否吻合。若在所有已学习过的神经元中，无法得到一个和接收影像足够接近的回忆影像时，ART 也会进入共振状态，由剩下的未学习过的任一神经元赢得 F2 层的比较，而将当前接收的影像当成一个新记忆，并记在这个获胜的神经元中。

增益控制增益控制的作用是让 F1 分辨出当前输入是由那个方向而来，以便作出适当的回应。因此增益控制发出到所有神经元的信号都是一样的，它称之为非特异信号。

ART2ART1 要求输入必须是二进制模式，显然，这是一种缺陷。因为在实际环境中，输入系统的信息，大多不能仅用 0 与 1 表示，绝大多数的事件是处于对与错、有与无、白和黑之间的灰度区域，因此一个模型若要能满足实际要求，除了 0 与 1 之外，还必须能处理 0 与 1 之间的连续数值。为了继续保持 ART1 的特性与优点，并扩展应用范围，ART2 也就应运而生了。

ART1 与 ART2 具有相似的架构(如图 2 所示），但ART2 为了能处理灰度模式，在 F1 上增加了几个处理单元以及几个增益控制单元，使得 ART2 的 F1 变得比 ART1 上的复杂，ART2 的 F2 层，运行方式与 ART1 的完全一样，决策子系统也和 ART1 的做相同的工作。

F1 层包含六个子层（ w 、 x 、 u 、 v 、 p 及 q ）及三个增益控制单元（图中实心黑点），决策子系统有一个子层及一个增益控制，w 、x、u、v、p、q及r具有与输入模式矢量元素数目相同的神经元，F1 中每一子层上的神经元只与和它相连结子层或r 上相同位置的神经元连结，子层内及子层间不同位置的神经元没有连结。F1 与F2 之间采用完全内部连结，即 F1 的输出子层 p 上的每一个神经元与 F2 上的所有神经元间都有连结，而 F2 反馈到p的连结也采用完全内部连结方式。1