麻省理工科技评论：生存风险如何成为 AI 中最大模因

撰文：Will Douglas Heaven，来自：麻省理工科技评论

是谁在害怕机器人？似乎很多人都是这样。目前，公开发表声明或签署公开信警告人工智能灾难性危险的知名人士的数量多到惊人。

数以百计的科学家、商业领袖和政策制定者已经发声，包括从深度学习先驱 Geoffrey Hinton 和 Yoshua Bengio，到顶级人工智能公司的首席执行官，如 Sam Altman 和 Demis Hassabis，再到加州众议员 Ted Lieu 和爱沙尼亚前总统 Kersti Kaljulaid。

由所有这些人士和其他更多人签署的最严酷的断言是两周前由旧金山的研究组织人工智能安全中心（CAIS）发布的 22 个字的声明，它宣称“减轻人工智能带来的灭绝风险应该是一个全球性的优先事项，与其他社会规模的风险如疫情和核战争一样。”

这种措辞是经过深思熟虑的。CAIS 主任 Dan Hendrycks 说：“如果我们要用罗夏测试式的陈述，我们会说‘生存风险’（existential risk），因为这对很多不同的人来说可能意味着很多东西。”但他们希望澄清：这并不是要搞垮经济。Hendrycks 说：“这就是为什么我们提到了‘灭绝风险’（risk of extinction），尽管我们很多人也担心其他各种风险。”

我们以前也经历过这样的情况：人工智能的厄运伴随着人工智能的炒作。但这一次感觉不同。奥弗顿窗口已经转移了。曾经的极端观点现在成了主流话题，不仅抢占了头条，还引起了世界领导人的注意。研究技术社会影响的组织“数据与社会”（Data and Society）的研究主任 Jenna Burrell 说：“对人工智能表示担忧的声音已经大到无法忽视。”

这是发生了什么？人工智能真的变得（更）危险了吗？为什么当初引进这项技术的人现在却开始拉响警报？

诚然，这些观点在该领域存在分歧。上周，Meta 公司的首席科学家、与 Hinton 和 Bengio 共同获得 2018 年图灵奖的 Yann LeCun 称末日论“荒谬可笑”。人工智能公司 Cohere 的首席执行官 Aidan Gomez 表示，这是“对我们时间的荒谬利用”。

同样，其他人也对此嗤之以鼻。Signal 总裁 Meredith Whittaker 表示：“现在没有比 1950 年有更多的证据表明，人工智能将构成这些生存风险。”Whittaker 是人工智能研究所（AI now Institute）的联合创始人和前主任，该研究所是一家研究人工智能政策影响的研究实验室。“鬼故事是会传染的——害怕真的很令人兴奋和刺激。”

“这也是一种略过当今所发生的一切的方式，”Burrell 说。“它表明我们还没有看到真正或严重的危害。”

一种古老的恐惧

自阿兰 - 图灵以来，对失控的、自我改进的机器的担忧一直存在。Vernor Vinge 和 Ray Kurzweil 等未来学家通过谈论所谓的“奇点”（Singularity）来普及这些想法，“奇点”是一个假想的日期，即人工智能超过人类智能并由机器接管。

但这种担忧的核心是控制的问题：如果（或当）机器变得更聪明时，人类如何保持优势地位？在 2017 年发表的一篇名为“人工智能如何构成生存风险？”的论文中，多伦多大学人工智能哲学家 Karina Vold（她也签署了 CAIS 的声明）阐述了这种担忧背后的基本论点。

论点有三个关键前提。第一，人类有可能造出一台超级智能机器，它可以超越所有其他智能。第二，我们有可能无法控制能够超越我们的超级智能体。第三，超级智能体有可能会做一些我们不希望它做的事情。

把所有这些结合起来，就有可能制造出一种机器，它会做我们不想让它做的事情，包括消灭我们，而我们将无法阻止它。

这种场景也有不同的情况。当 Hinton在五月份提出他对人工智能的担忧时，他举了机器人重新调整电网路线以给自己提供更多电力的例子。但超级智能（或 AGI）并不是必需的。愚蠢的机器如果有太多的空间，也可能是灾难性的。许多场景涉及到轻率或恶意的部署，而不是自利的机器人。

加州大学伯克利分校的人工智能研究人员 Stuart Russell 和 Andrew Critch（他们也都签署了 CAIS 的声明）在上周在线发表的一篇论文中，给出了生存风险的分类法。这些风险的范围包括：病毒式的提供建议的聊天机器人，告诉数百万人从大学退学，到追求有害经济目的的自主产业，再到民族国家建造人工智能驱动的超级武器。

在许多想象中的案例中，一个理论模型实现了其人类赋予的目标，但却以一种对我们不利的方式来实现。Hendrycks 研究了深度学习模型在给定训练数据中未见的输入时有时会以意想不到的方式表现，对于他来说，人工智能系统可能是灾难性的，因为它是破坏性的而不是万能的。他说：“如果你给它一个目标，而它却找到了外来的解决方案，那么它将带我们踏上一段奇怪的旅程。”

这些可能的未来的问题是，它们依赖于一连串的“如果”，这使它们听起来像科幻小说。Vold 自己也承认了这一点。“由于构成或引发 [生存风险] 的事件是前所未有的，因此关于它们构成这种威胁的论点本质上必须是理论性的，”她写道。“它们的稀有性也使得任何关于此类事件如何或何时发生的猜测都是主观的，无法通过经验验证。”

那么，为什么越来越多的人比以往任何时候都更相信这些想法？谷歌的人工智能研究员 François Chollet 说：“不同的人出于不同的原因谈论风险，他们的意思也可能不同。”但这是一种难以抗拒的叙述：“生存风险一直是一个好故事”。

“这其中有一种不容忽视的神话、近乎宗教的元素，”Whittaker。“我认为我们需要认识到，鉴于所描述的内容没有证据基础，它更接近于一种信仰，一种宗教狂热，而不是科学话语。”

末日论的传染扩散

当深度学习研究人员第一次开始取得一系列成功时 -- 想想 Hinton 和他的同事们在 2012 年 ImageNet 竞赛中打破记录的图像识别分数，以及 DeepMind 在 2015 年首次以 AlphaGo 战胜人类冠军时，炒作很快也变成了末日论。霍金和宇宙学家 Martin Rees 等知名科学家，以及埃隆 - 马斯克等知名科技领袖，都发出了生存风险的警报。但这些人物并不是人工智能专家。

八年前，深度学习先驱、时任百度首席科学家吴恩达（Andrew Ng）站在圣何塞的讲台上，对这个想法一笑置之。

“在遥远的未来，可能会出现一场杀手机器人竞赛，”吴恩达在 2015 年 Nvidia GPU 技术大会上告诉观众。“但我今天并不致力于防止人工智能变得邪恶，就像我不担心火星上人口过剩的问题。”（科技新闻网站 The Register当时报道了吴恩达的这番话。）

吴恩达于 2011 年共同创立了谷歌人工智能实验室，现任 Landing AI 首席执行官，他在此后在采访中不断重复着这句话。但现在的他不那么乐观了。“我保持开放的态度，正在与一些人交谈以了解更多信息，”他告诉我。“快速的发展让科学家们重新思考风险。”

和许多人一样，吴恩达对生成式人工智能的快速发展及其被滥用的可能性表示担忧。他指出，上个月，一个被广泛传播的由 AI 生成的五角大楼的爆炸图像吓坏了人们，连着股票市场也跟着下跌。

“不幸的是，人工智能如此强大，它似乎也可能会导致巨大的问题，”吴恩达说。但他没有谈到杀手机器人：“现在，我仍然很难看到人工智能会如何导致我们的灭绝”。

与之前不同的是人们对人工智能能做什么的广泛认识。去年年底，ChatGPT 将这项技术推向了公众。“人工智能突然成为主流的热门话题，”Chollet 说道。“人们正在认真对待人工智能，因为他们将能力的突然飞跃视为未来更多飞跃的预兆。”

此外，与聊天机器人对话的经历也会让人感到不安。对话是一种通常被理解为人们与其他人一起做的事情。Whittaker 说：“它为人工智能像人类或有感知能力的对话者这一想法增添了一种合理性。”“我认为这让人们相信，如果人工智能可以模拟人类交流，它也可以做 XYZ。”

“这就是我开始觉得关于生存风险的对话有些适合的原因 -- 在没有证据的情况下进行推断，”她说。

展望未来

我们有理由感到愤慨。随着监管机构对科技行业的追赶，摆在桌面上的问题是什么样的活动应该或不应该受到限制。突出长期风险而不是短期危害（如歧视性雇用或错误信息），使监管者的注意力重新集中在未来的假想问题上。

Burrell 说：“我怀疑真正的监管限制的威胁已经推动人们采取了一种立场。谈论生存风险可能会验证监管者的担忧，而不会破坏商业机会。”她说：“背叛人类的超级智能 AI 听起来很可怕，但这显然也是尚未发生的事情。”

夸大对生存风险的担忧在其他方面也有利于商业。Chollet 指出，顶级人工智能公司需要我们认为 AGI 即将到来，而他们就是建造 AGI 的人。他说：“如果你想让人们认为你正在研究的东西是强大的，那么让他们害怕它是一个好主意。”

Whittaker 也持类似观点。她说：“把自己塑造成一个可能比人类更强大的实体的创造者是一件重要的事情。”

如果仅仅是营销或炒作，这些都不重要。但决定什么是风险，什么不是风险，会有相应的后果。在一个预算和注意力有限的世界里，没有核战争那么极端的伤害可能会被忽视，因为我们认为它们不是优先事项。

“这是一个重要的问题，尤其是在人们越来越关注安全和保障作为政策干预的狭窄框架的情况下，”AI Now 研究所的常务董事 Sarah Myers West 说。

当首相 Rishi Sunak 在 5 月与包括 Sam Altman 和 Demis Hassabis 在内的人工智能公司负责人会面时，英国政府发表声明说：“首相和首席执行官们讨论了该技术的风险，从虚假信息和国家安全，到生存威胁”。

此前一周，Altman 告诉美国参议院，他最担心的是人工智能产业会对世界造成重大伤害。Altman 的证词引发了人们对建立新型机构来解决这种前所未有的危害的呼声。

随着奥弗顿窗口的转移，危害是否已经造成？“如果我们谈论的是遥远的未来，如果我们谈论的是神话般的风险，那么我们就完全把问题重塑为一个存在于幻想世界的问题，其解决方案也可以存在于幻想世界，”Whittaker 说。

但 Whittaker 也指出，围绕人工智能的政策讨论已经持续了多年，比最近这种恐惧要长。“我不相信必然性，”她说。“我们将会看到这种炒作遭到反击。它会消退的。”