“图灵奖得主”姚期智对谈Stuart Russell：不应该假设机器是公正的，机器可能会试图改变人类的行为

葛佳明发表于 2023年06月10日 11:20

摘要：Russell认为，ChatGPT和GPT-4没有在“回答”问题，它们不理解世界，目前最重要的担忧来自于科技公司之间似乎不受约束的竞争。

6月10日，在2023北京智源大会上，图灵奖得主、中国科学院院士姚期智与加州伯克利分校教授Stuart Russell在AI安全与对齐专题论坛进行了专家对谈。

姚期智认为，在考虑如何控制AI的问题前，人类需要先真正解决自身的问题。对于AI技术，当前正是一个重要窗口。在AGI被创造之前、在军备竞赛开展之前，我们急需形成共识，共同合作搭建一个AI治理结构。

“我们应该如何阻止人类生产强大的AI机器，以免以牺牲他人为代价来实现他们的个人目标？”在对谈中，姚期智表示，“我们不应该假设机器是公正的，机器可能会试图改变人类的行为，更准确来说，可能是机器的所有者想要改变其他人的行为，而这种意图隐藏在某些复杂程序背后。”

加州伯克利分校教授Stuart Russell在会上表示，通用人工智能（AGI）还没达到，大语言模型只是其中一块拼图，我们连拼图最终会是什么样子，缺哪些还不确定。

他表示，ChatGPT和GPT-4没有在“回答”问题，它们不理解世界。

Russell认为，人工智能应该是一门科学，在某种意义上，我们理解我们构建的结构如何与我们想要它们拥有的属性相关联。就像我们制造飞机一样，飞机有物理形状和发动机等等。我们可以展示这与我们想要的属性之间的关系，那就是留在空气中：

目前，特别是大型语言模型领域，并不是一门这样的科学。我们不知道它为什么会带来财产。它存在我们甚至不知道它有什么属性。我们当然不能将这些与内部发生的事情联系起来，因为我们不了解内部发生的事情。因此从这个意义上说，人工智能是一门更深层次的科学。

Russell指出，最重要的担忧来自于科技公司之间似乎不受约束的竞争，他们已经表示不会停止开发越来越强大的系统，无论风险如何。人类可能会失去对世界和我们自己未来的控制，就像大猩猩因为人类而失去了对自己未来的控制一样。

风险提示及免责条款

市场有风险，投资需谨慎。本文不构成个人投资建议，也未考虑到个别用户特殊的投资目标、财务状况或需要。用户应考虑本文中的任何意见、观点或结论是否符合其特定状况。据此投资，责任自负。

“图灵奖得主”姚期智对谈Stuart Russell：不应该假设机器是公正的，机器可能会试图改变...