“上帝”的尴尬：深度学习的“不可理解性”

“上帝”的尴尬：深度学习的“不可理解性”

从开普勒到牛顿，我们能够看到科学起步于统计，成就于洞察。所以数据统计方法，一直被认为是初级的能力或方法。科学每一次革命性的跨越，都是来自于深刻的洞察，牛顿的经典力学如此，近现代的相对论与量子力学也是如此。

在表现层面来看，这种“洞察”导致了我们可以用简洁的数学公式及方法去普适性地描述事物运动变化的本质性规律。杨振宁认为科学的这种“美”来自于宇宙自有的“精妙”。追求这种精妙之美，是自牛顿开始的科学传统。哪怕是给爱因斯坦都带来很大困惑的量子力学，其描述微观粒子运动的薛定谔方程，在形式上也相当简洁精美：

所以有人对被打扮的如阳春白雪般的人工智能，严重依赖就事论事的、越来越庞杂的下里巴人似的统计方法，颇有些微词与不屑。下图就是一副讽刺这个情况的漫画。

图十 统计方法、机器学习与人工智能

我们为什么不能像物理学等传统科学那样，把人工智能也建立在精妙并且普适的数学表达之上?

人工智能在1957年被提出来的时候，学者们就是按照这个人思路去发展这个领域的。在20世纪5、60年代的时候，学者们就是努力地在寻找简洁清晰的基础性的智能机制，期望在此之上可以构建出不同类型的人工智能系统。当时出现了所谓的符号主义，联结主义，行为主义等等流派，都是试图走通这条路。到了70年代，这些流派都逐步陷入了困境。这个时候人工智能领域出现了两件对后续影响深远的事情。

一个是研究思维意识运动机制的学者们，另立门户创建了一个新学科“认知科学”，以探索人类意识活动的内在机理为己任；另外一件事就是出现了以实用主义为导向的“专家系统”。专家系统是以人类专家的领域知识为基础去解决特定领域中的问题。从事专家系统工作的学者们，不再以理解或复现人类一般性智能为目标，而专注于用现实的方法去解决实际问题。所以专家系统遭到了“原教旨”人工智能学者们的排斥。但是它确实让人工智能迈出了从理想走向现实的重要一步。在随后的几十年里人工智能越来越注重实际问题的解决。直至新世纪的第二个十年，“暴力计算”点石成金，让以深度学习为代表的统计方法在众多领域中大显身手也大放异彩，人工智能在几代学者的努力下终于成为了全球关注的极少的几个技术制高点之一。

从上面描述的过程我们不难发现，由于人类大脑的洞察能力在回光返照自身的时候，始终未能探寻到意识的本质规律。经过各种尝试后，人工智能借助“暴力计算”回到了统计方法这个科学发展的入手起点。自现代科学诞生之后，特别是20世纪科学取得了全面爆炸性突破后，我们做事情全面超越了传统的工匠经验方法，凡事不仅要知其然，还要知其所以然。

开普勒的工作属于“知其然”，牛顿的工作则是“知其所以然”。所以人工智能回到统计方法虽然创造了惊人的辉煌，其实这更多的是一种无奈的选择。这种无奈带来的一个重大的困惑，就是人工智能的顶梁柱、基于人工神经网络的深度学习统计模型的“不可解释性”，或者客气一点地说是“可解释性”差。

所谓的“不可解释性”是指我们不太清楚深度学习模型通过“学习”，到底能学到数据中蕴含的哪些“知识”，我们也不太清楚它是如何利用这些“知识”解决问题的，当然我们还不明白如果它失败了，到底是为什么。所以有人把它称之为“黑箱模型”。这里的“黑箱”一词，与物质性技术与工具中传统的含义是不同的。传统的黑箱是指我们无法看到一个系统内部的过程，而只能从系统的输入和输出去观察它。深度学习模型并不是这样。它内部过程的每一个步骤细节都是人工设计出来，清清楚楚一目了然。在这个意义上来说，它实际上是传统意义上的“白箱”。它带来的困惑是我们没有办法把它内部进行的计算操作，与它整体上表现出来的功能关联起来，从而理解它是如何能够有那样的表现。这种不可理解的“白箱”在物质性技术与工具领域基本不存在。

在NIPS （Conference and Workshop on Neural Information Processing Systems）2017会场上，曾进行了一场主题为“可解释性在机器学习中是否必要”的非常激烈火爆的辩论。当时包括Yann LeCun在内的一些学者认为这种“不可解释性”无关紧要。因为如果把人工智能仅仅当成一个解决问题的工具来看的话，那么“黑猫白猫抓住耗子就是好猫”。事实上我们现在也就是这样在使用深度学习，而且创造了许多可以称之为奇迹的成就。

但是事情还有另外的一面，让许多人对“不可解释性”无法释怀。

首先，当我们不理解一个统计模型是如何完成其工作，同时这个模型可以有很多可供选择的变化的时候，我们首先遇到的一个困难就是我们无法去分析推断应该如何选择一个特定的模型去解决一个具体的问题。我们只能靠经验与实验去寻找模型的结构与大小。而这种工匠做法是与现代科学与技术的主流不一致的。其应用的效率及代价都是我们希望能够大幅改进的。

其次，这种不可解释性导致我们在用数据统计计算来确定模型的参数时，也就是所谓的模型在“学习”的时候，我们不知道所采用的统计计算方法，即学习算法，是否能有效地获取让模型有最佳表现的参数，因而我们也只能通过工匠式的实验来估计其有效性，以及确定如何改进相应的算法。而最重要的是它涉及到使用的时候的“信任”问题。当我们说“信任”的时候，不是针对已经发生的过去，而针对未来还没有发生的事情而言。“信任”一个工具是指对于未来的事情，我们相信它依然会像过去表现的那样而不会出现意外。如果一种方法我们不理解它是怎么工作的，是如何产生已有的结果的，即使过去的表现非常好，我们都没有办法简单地说“信任”二字，特别是针对比较复杂的应用场景的时候。要“知其所以然”是几百年来科学铭刻在我们心上的“理性”追求。这样，在面对一些生死攸关，责任重大的问题时，我们就很难下决心使用这类具有“不可解释性”的方法。

而机器学习中采用的其它一些统计类模型在不同的程度上也存在“可解释性”差的问题，深度学习模型不过是其中表现最严重的一个罢了。所以，获得模型的可解释性自然成为了一个被高度关注的问题。多年来大量学者从不同的角度做了很多的工作（李凌敏等，“深度学习的可解释性研究综述”，《计算机应用》，2022，42（12）：3639---3650），但是并没有决定性的突破。以至于有人戏谑到：“贵圈很乱”。“乱”说明还是局限于表象，而没有深入到本质。

实际上，在机器学习领域，关于“可解释性”并没有形成一个统一的标准。机器学习模型的可解释性大体可以划归为两种：内在可解释性(Intrinsic Interpretability) 和事后可解释性(Post Hoc Interpretability)。内在可解释性是指对模型自身学习与工作机理的理解。

对于深度学习模型来说，这件事情极其困难，所以相关的研究工作也比较少；事后可解释则是指我们在一个模型训练完成之后，对其工作过程做分析，这更多的是就事论事式的解释。就事论事总要简单一些，所以有众多的论文对其做探讨研究。人类的大脑中的意识是一个我们还没有办法有效观察测量的黑洞，所以对其里面的机理我们一筹莫展是完全可以理解的。但是深度学习模型这个由人类自己设计出来的、而且是传统意义上“白”的不能再白了的“白箱”，经过大量努力我们依然难以“理解”它，这实在是现代科学与技术领域里匪夷所思的奇观之一，人类这个新科造物主的尴尬。或许我们陷入到了一种不自觉的自我的束缚之中：一直在努力用人类已有的知识和方法去剖析它，试图把它纳入到现有的科学与技术的框架之中来解释。最基本的表现就是我们把它理所当然地当成了一种函数映射。

回顾科学发展的历史，在伽利略时代，我们摆脱了神学的逻辑，用全新的科学的视角与方法开始认识这个世界，因而建立了科学；在20世纪之交，我们因为黑体辐射与迈克尔逊-莫雷实验无法在已有的科学框架内得到解释，而分别突破了传统科学中物理量必然“连续”无限可分的认定和牛顿绝对时空的假设，创建了量子力学与相对论。现有的科学与技术框架是以对物质性现象的描述为出发点建立发展起来的，它是否适合用于认识意识性的活动？人的大脑底层是物质性过程，我们至今无法理解这个过程如何产生了意识；深度学习模型底层是数值计算，我们至今无法理解那些计算如何形成了它整体意识性的功能。在从底层到上层的断裂这一点上，两者惊人地相似，它是否隐藏了某种共同的秘密？无法用现有框架内的理论和知识解释的现象或问题，一直是前沿科学探索者们梦寐以求的，因为它们常常是引发人类革命性进步的宝贵契机。或许，基于人工神经网络的深度学习模型的“不可解释性”，是“外意识”领域中的一个超出科学与技术现有框架的问题，需要我们从一个全新的基础开始，基于一套新的方法建立一套新的理论？就像当年牛顿将力学大厦建立在了其新发明的微积分之上那样。或许这一努力能够给人类打开一扇通向新的知识疆域之门？

如果未来的探索证明了上述推测的话，那么其实这一点都不应该令人感到意外。因为人工神经网络模型，从源头上就不是基于现有的科学框架分析推理的结果。它是受到人的大脑神经元高度互联的结构启发用类比的方式被创造出来的，而不是基于现有的科学框架内分析推理的结果。这条路径曾经被冠以“联结主义”。从这个名词上就能看出，它从刚一开始就没有把传统的数学方法，如函数映射理论作为自己的基础。当然除了“联结主义”这几个字、技术层面的许多方法及借助“暴力计算”取得的广泛应用外，它一直没有能够在理论上取得实际进展。

这种对现有框架的突破，需要牛顿那样的洞察力，通过对深度学习模型学习过程的精微观察，去建立新的概念基础以及相应的方法。而不是抛开底层真实过程，形而上地做一些毫无信息含量的空洞臆想。“涌现”这个现在被频繁使用的词汇就是这样的产物。它描述的是大量群体活动产生会某些结果的现象，但是它的引入对于理解这种过程却没有提供任何有益的帮助，除了让使用者在外行面前显得很有学问之外。在传统的科学与技术领域，引入这样没有意义的“新概念”是不符合基本科学规范的。

这种比较广泛地存在于人工智能领域内、言之无物言之乏据的现象，正说明该领域还处于“前科学”时代。科学每一次革命性的进步，被后人津津乐道、大做文章的往往是哲学理念这些形而上的产物。其实每一次科学革命都是从面对具体的问题、剖析真实的过程开始的，而不是理念先行的产物。实践出真知，才是人类认识世界的基本模式。“外意识”都是由算法来实现的，所以对任何类型“外意识”的理解，都应该遵循上述的原则，即从算法的基本过程开始来分析它做了什么、为什么能做及是如何做的。任何脱离算法基本过程的“诠释”，都属于自我陶醉式的臆想，无助于信息科学与技术的发展。