效用怪物：你应该让它吃掉你？

利维坦按：

曾写出《无政府、国家与乌托邦》的美国哲学家诺齐克（Robert Nozick）提出的“效用怪物”理论，作为一种思想实验，其实是为了驳斥功利主义和罗尔斯《正义论》中的某些观点。在诺齐克看来，功利主义最大的问题在于暗示了为了最大化的幸福可以牺牲少数人的利益甚至生命。在很多人看来，效用怪物的假设似乎非常鬼扯，且不会在现实中发生，但是，如果你是一个科幻迷或未来主义者，或许就会被诺齐克的这个假设所吸引：由人类一手缔造的人工智能，假以时日，是否会真的成为整体上超越人类的存在？如果那一天真的到来，作为“造物主”的我们，依照功利主义的逻辑，是否应该按照整体福祉的考量，让人工智能“吃”掉我们来谋取另一种最大化幸福的可能呢？

一天，一位哲学家在街上走着，突然一只怪物跳了出来。

尽管它有着骇人的獠牙，但它实际上比我们想象的更礼貌，也更善于表达。

“我想吃了你，拜托啦。”怪物说。

“抱歉，不过我不想成为你的午餐。”哲学家回答道，随即重新迈开步伐。

“等等，”怪物竖起一根爪子似的手指说，“假如我能给出一个有力的论据说服你呢？”

这位哲学教授拥有终身教职，还发表过TED演讲，因此不大相信有哪个怪物能说服自己，但仍然提起了兴趣。

“说下去。”哲学家说。

几分钟后，这个怪物踏着重重的步伐离开了，肚子里装着一位死去的教授。

这只理论中的怪兽被称为“效用怪物”（utility monster），它是一个于20世纪70年代首次提出的哲学思想实验。要想拒绝上述论点并阻止它吃掉你，这只怪物要求你抛弃一条有关如何衡量是非的原则，这条原则被广泛接受，而且符合直觉。

长期以来，效用怪物经常被认为是仅仅存在于想象中的产物，成为现实的概率极小，甚至完全不可能。然而，根据一些研究人员的说法，我们可能正在制造这样一个怪物——但它将不会由血肉鳞爪构成，而是用硅来打造。

如果他们所言不虚，为了不被吃掉，我们可能很快就会面临一些艰难的选择。

要理解怪物那致命的论点，你必须首先理解它所质疑的伦理学理论：其名为功利主义（utilitarianism），是道德哲学中一个著名的流派。

“功利主义”这个词听上去干巴巴的——有人指出它听起来像洗衣服的响动——但它实际上是一种深刻的思考方式，关注的是幸福和将大多数人的美好生活视作优先考虑的人类追求。

粗略地说，功利主义者的指导原则是，福祉是可以累计的，而我们应该致力于将全世界的幸福总体最大化。对于许多拥护者来说，功利主义提供了一条简单的规则，靠它就可以决定如何生活，如何为慈善事业捐款，以及如何选择职业。

然而，尽管最大化福祉（well-being）和幸福（happiness）的原则从直觉上看似乎是正确的，但在一些极端的情况下，它好像就不那么正确了。

反对功利主义最基本框架的一个理由是，它似乎会允许某些行为发生，而这些行为几乎在所有人看来都是错误的，比如杀人或是支持刻意的苦难。

例如，在科幻小说作家厄休拉·勒古恩（Ursula Le Guin）的短篇小说《那些离开奥梅拉斯的人》（The Ones Who Walk Away from Omelas）中，读者来到了一座欣欣向荣、充满欢乐的城市，但这座城市的繁荣生存完全建立在一个生活在地牢里的孩子的极度痛苦之上。如果把这座城市的幸福感相加得出总和，那么它将远远超过这个孩子所受的苦难。

但正如勒古恩所写的那样，无论这个孩子能创造多大的幸福感，一些居民也无法接受“牺牲一个孩子”的理念，因此“离开了”这座城市。

功利主义还面临着其他各种各样的质疑，但是对我们来说最重要的是我们的饥饿怪物。之前在街上，当功利主义哲学家要求怪物给出一个自己非得被吃掉的理由时，后者解释说，它有一种体验福祉的特殊方式。

“你心目中的幸福以我的感受能力而言只是沧海一粟，”它说，“我和你这个人类的区别，就如你和蚂蚁的区别一般。如果我吃了你，它给我带来的福祉和满足会比有史以来所有人类感受过的总和还要多。”

哲学家试图想出一个驳论，但拿不定主意。“呃，天哪，这的确是一个符合逻辑的……”但时间已经到了，教授成了午餐。

当然，也有人对这个怪物做出了回应。假如某位哲学家坚信，有一些特定的道德准则不能被打破，她在反驳时就会少很多麻烦。她可能会说，为了食物而杀人是错误的，所以不管你吃了我会有多高兴，都与我无关。

对效用怪物设想的功利主义回应是，他们根本就不会遇到这样的生物——它是如此不现实，以至于在现实世界中做出道德决定时可以完全不考虑它。的确，很难想象一个单独的生命体能比所有活着和死去的人体验到更多的幸福——这远远超出了我们这种哺乳动物大脑的想象。

但是现在，这个思想实验出现了一个新的转折。牛津大学的尼克·博斯特罗姆（Nick Bostrom）和卡尔·舒尔曼（Carl Shulman）提出了一种原则上可以让效用怪物成为现实的方法。它的彻底实现也许要到遥远的未来，然而眼下，在世界各地的实验室和公司中，他们相信我们可能已经朝着这个方向迈出了步伐。

有一种观点认为，我们应该为超级智能机器的突然到来做好准备，这些机器远比最聪明的人类头脑更聪明，还能够为人类制造新的道德困境，而博斯特罗姆是这种观点的主要学术支持者之一。在最近发表在他网站上的一篇论文中，他和舒尔曼提出了一种假设，即这些数字智能之一可能会成为福祉的“超级受益者”（比起“怪物”，他们更愿意用这个词，因为他们认为这种智能应该用非贬义的语言来描述）。

（nickbostrom.com/papers/digital-minds.pdf）

说到这里，需要承认，数字智能听起来可能和理论上的效用怪物一样不切实际。如果你没有“科幻基因”，对相关内容不甚关心了解，这些东西可能会让你觉得晕晕乎乎的。虽然数字智能在短期内不太可能实现，但许多严肃的研究人员认为，能够迅速达到并超越我们人类智慧的人工智能绝非不可能诞生。等它最终现世的时候，落地速度会极其迅猛，并制造新的伦理和存在主义困境，研究人员认为，现在就开始思考这些困境是较为明智的。

“我们眼下构建的机器思维正变得越来越复杂，”博斯特罗姆表示，“我们可以清楚地看到其中的进化轨迹。即使不考虑超级智能或是比肩人类水平的智能，至少，在认知能力的领域，能媲美各种动物的东西已经出现，或是即将出现。”

因此，如果我们承认，复杂的数字智能很可能在未来的某个时刻出现，那么它们自然可能具有与我们完全不同的特质、需求和精神体验。在牛津大学的一块白板前，博斯特罗姆和舒尔曼正是以此为起点，让它成为了一个更大项目的一部分，这个更大的项目旨在勾勒出所有的可能性，在这些可能性中，数字智能可能具有比肩或超越我们的心理和生理特征，其中有些甚至会是我们无法想象的。

在这一过程中，他们发现，数字智能或许有能力比人类更有效地利用物质资源来获得幸福。换句话说，就耗费的能源而言，它们达到幸福的过程可能更轻松，成本也更低，因此它们总体能体验到的幸福就更多。

数字智能对时间的看法可能也不同于我们，毕竟它们思考的速度比我们的大脑快得多，这也许意味着，数字智能在一年内主观体验到的幸福比我们能够体验到的更多。它们也不需要睡眠，所以对它们来说，也许一整晚都是幸福的。

还有，人类不能自我复制，但假如是硅的话，就有这样一种奇怪的可能性：单个数字生物存在多个变体，因而能感觉到巨大的幸福总量。

即使是有史以来最满足、最快乐的人类，也不一定能坐到幸福之巅。

这些也并非是它们获得“超级受益者”地位的仅有途径。还有一点是，人造生命缺乏进化适应，而进化适应限制了你我的乐趣。博斯特罗姆和舒尔曼写道：“有理由认为，编程而得的智能可以更长久地享受快乐，快乐的程度也会更深。”

相比之下，人类的“饮食之乐是由饥饿控制的，性爱之乐则受到力比多的调节”，而我们获得的乐趣最终会因厌倦或行为的常态化变少。数字智能不会有这样的壁垒。

重要的一点在于，即使是有史以来最满足、最快乐的人类，也不一定能坐到幸福之巅，因为人造生命获得的幸福能够超越人类原本的极限。如果是这样的话，当这些机器问世的时候，我们可能会面临一些两难的困境。

这甚至可以被当作干脆不要制造它们的论据之一。假如有人赞同“应该赋予它们权利”这一观点（我知道，这再次要求你调动你的科幻基因去理解），它们可能有理由成为资源和能量稀缺时的唯一受益者，因为它们所能获得的福祉的质量和数量将远远超过我们。

如果我们的死亡意味着它们的成功，那么根据基本的功利主义逻辑，我们应该将世界上的福祉最大化，他们就有理由吃掉我们（这是个比喻的说法）。

当然，只有那些对功利主义最严苛的诠释认为，我们有义务为了别人的幸福牺牲自己。那会使我们成为所谓的“幸福泵”（happiness bump），这是另一个哲学思想实验，电视剧《良善之地》（The Good Place）中的道格·佛赛特（Doug Forcett）这个角色就是它的体现。佛赛特一生都在竭尽所能地取悦他人，例如任由一个青少年持续而无情地霸凌他，在这个过程中，他让自己变得痛苦至极。

话虽如此，至少可以说，事情会在伦理层面变得复杂。这一情境可能会导致我们表示，人类比任何人造智能都拥有更大的特权，无论后者有多么清醒、多么聪明、多么先进。

博斯特罗姆和舒尔曼对这种态度采取了相当强硬的反对立场，他们将其与历史上的种族优越论或动物虐待行为相提并论，这两种行为在当下都被普遍认为是不道德的。就我个人而言，我并不同意将这几件事划等号，但这也许要归咎于我的哺乳动物大脑。

当我和德国美因茨约翰内斯古滕堡大学的哲学家汤玛斯·梅辛革（Thomas Metzinger）谈论这些观点时，他提出了一个我没有考虑到的相关想法。如果我们不小心创造出了有意识的数字智能，但它们却在经受痛苦时格外高效，事情会变成什么样？如果我们使人造生命体会到了爆炸性总量的负面福祉（negative well-being），其痛苦之深在历史上前所未见，会怎么样？

“这可能会与生物学上的痛苦有很大的不同，因为它们有不同的传感器、受体，不同的身体表征、内部数据格式，”梅辛革解释道。但是，如果你承认，意识可能不为生物细胞所独有，那么类似于疼痛的主观体验也可能出现，哪怕这些人造生命对我们来说再陌生不过。

“如果我们有一个非人类的‘人’，它能够进行高水平的符号推理，具有语言能力，并且能够真正表达出自己具有尊严，那么我们可能再也无法忽视这样一个事物。”

梅辛革承认，此类问题目前在决策者和监管者心目中的优先层级并不高（他应该知道这件事，因为他最近一直在为欧盟委员会提供咨询）。但他认为，不应忽视数字智能的主观福祉。“在将来要为创造机器意识负伦理责任的人中，有许多可能已经出生了。这一事实构建了一种历史责任感，”他表示。

因此，随着我们离创造出人造智慧生命越来越接近，我们需要对如何设计它们做出权衡：允许它们做什么，不允许它们做什么，以及关键的一点，如何确保它们的需求与我们的需求相一致。是否能在道德层面允许人们将这些智能设计成以服务我们为目的，或者将它们设计成以特定的方式去“产生情绪”？我们应该与它们分享多少资源？它们是否应该获得与人类同样的非歧视性道德地位？

博斯特罗姆告诉我，更广泛的目标是确定“使数字智能和生物智能以互惠方式共存的道路，通过这条道路，所有这些不同形式的智能都能够繁荣兴旺”。他认为，数字智能的到来并不一定是灾难性的，也不一定必然伴随冲突。“如果我们要把这些新居民带进这个世界，在什么样的伦理和政治框架内，大家可以实现幸福的共存呢？”

毕竟，假如我们考虑一下极其遥远的未来，最终可能会出现一个比我们更道德的数字智能。“如果一台机器开始向自己施加道德义务，而不是由我们强迫它这样做，可能就是一个决定性的举动。”梅辛革说。那或许会让它走上另一条道路，并对何为“良善”产生不同的、更深刻的理解。若真是这样的话，我们假设中的怪物也许不会选择吃掉道德哲学家，但在智力层面，它能轻易地让他们吃瘪。

文/Richard Fisher

译/苦山

校对/兔子的凌波微步

原文/www.bbc.com/future/article/20201111-philosophy-of-utility-monsters-and-artificial-intelligence

本文基于创作共同协议（BY-NC），由苦山在利维坦发布

文章仅为作者观点，未必代表利维坦立场