OpenAI创始人与首席科学家罕见同台：AI最令人兴奋的事情正在发生

作者：朱雪莹

在ChatGPT月活飙升至10亿里程碑之际，OpenAI创始人Sam Altman的“全球巡回”同样备受关注。

本周，Sam Altman来到以色列特拉维夫大学，与在以色列长大的OpenAI首席科学家Ilya Sutskavel共同展开了一场生动且深刻的访谈（两人甚少同台），在场观众的提问内容也颇为专业，甚至Sam都被问得一时语塞，值得一听。

核心观点：1、OpenAI的优势所在：我们更专注于我们所做的事情，我们的文化注重严谨和可重复创新。2、学术界在AI领域的地位：学术界曾经是AI研究的前沿，但由于较弱的计算能力和缺乏工程文化，这种情况发生了变化。但是学术界依然能对AI做出重要贡献，可以从我们正在训练的神经网络中解开许多谜团。3、开源OR不开源：我们开源了一些模型，并计划开源更多模型，但不认为把一切模型开源是正确的策略，我们正在努力寻找平衡。4、AI不容忽视的风险：工作岗位受到影响、黑客获得超级智能和系统失控是AI令人担忧的三大风险。AI可以发挥惊人的作用，但也可能造成糟糕的影响，因此我们合适的监管架构来控制这项技术的使用，比如建立全球性机构。5、AI会加速科学发现吗：AI或许能帮助人类完成一些目前无法实现的科学目标，比如促进医疗健康发展、缓解气候变化难题甚至探索宇宙的奥秘，这是Sam认为AI令人最兴奋的事情。

整个访谈不乏深度，同时也不缺趣味。

比如Ilya开心地说道，父母告知他自己朋友也在平时使用ChatGPT，这令他感到十分惊喜。而当观众提问“你们正在创造历史，你们希望历史如何记住你们？”时，Ilya也风趣地回答道：“我的意思是，以最好的方式。”

以下为访谈全文：

一个读博一个辍学：两人在OpenAI前的不同人生

Ilya：

从5岁到16岁，我住在耶路撒冷。在2000年到2002年期间，我在开放大学学习。之后我搬到了多伦多大学，在那里度过了10年，并获得了学士、硕士和博士学位。在攻读研究生期间，我有幸为深度学习的重要进展做出贡献。随后，我与一些人共同创办了一家公司，并被谷歌收购，我在那里工作了一段时间。

然后，有一天我收到了山姆的一封邮件，他说：“嘿，让我们和一些很酷的人一起玩吧。” 我对此很感兴趣，于是去了。那是我第一次与Elon Musk和Greg Brockman见面，我们决定开启OpenAI的旅程。我们已经这样做了很多年，所以现在就是我们目前的位置。

Sam：

小时候，我对AI非常兴奋，是个科幻书呆子。从来没有想过有机会去研究它，但后来在大学时期，我开始研究了一段时间。但那时它还没有真正发展起来，就像是2004年......我辍学了，做过创业公司。

在Ilya提到的进展后，过了一段时间，我真的对AI所发生的事情感到兴奋，于是给他发了一封电子邮件，现在我们仍然在继续着。

OpenAI的优势所在

主持人：

你认为OpenAI的关键优势是什么，尤其是在竞争对手通常更大、拥有更多资源的情况下，使其成为生成人工智能的领导者？

Sam：

我们相信，关键优势在于我们更专注于我们所做的事情。相比于更大的公司，我们拥有更高的人才密度，这非常重要且容易被误解。我们的文化注重严谨和可重复创新，而令这两种文化并存是困难和罕见的。

Ilya：

是的，我只能在Sam的答案中添加少量内容。这是关于信仰的游戏，拥有更多的信仰意味着取得更大的进步。如果你有非常非常多的信仰，你就能实现最大的进步。听起来可能像是开玩笑，但实际上是真的。你必须相信这个想法并努力推动它，这是推动进步的原因。

学术界在AI领域的地位

主持人：

近期人工智能的进步主要是由行业推动的，你认为学术研究在该领域的发展中应该扮演什么角色？

Ilya：

学术界在AI领域的角色发生了重大变化。学术界曾经是AI研究的前沿，但现在情况已经改变了。原因有两个：计算能力和工程文化。学术界的计算能力较弱，并且通常缺乏工程文化。

然而，学术界仍然可以对AI做出显著和重要的贡献。学术界可以从我们正在训练的神经网络中解开许多谜团，我们正在创造出复杂而神奇的物体。

深度学习是什么？这是一个炼金术的过程，我们利用数据作为原材料，结合计算能源，从而获得了这种智能。但它究竟是什么？它是如何工作的？它具有什么属性？我们如何控制它？如何理解它？如何应用它？如何衡量它？这些问题都是未知数。

即使是简单的测量任务，我们也无法准确评估我们的AI的表现。过去这并不是问题，因为AI并不是那么重要。现在人工智能变得非常重要，但我们意识到我们还是无法完全衡量它。

因此，我开始思考一些无法由任何人解决的问题。你不需要庞大的计算集群，也不需要庞大的工程团队来提出这些问题并取得进展。如果你真的能有所突破，那将是一个引人注目且具有重大意义的贡献，每个人都会立刻关注。

主持人：

我们希望看到在工业界和学术界之间取得完全平衡的进步，我们希望看到更多这些类型的贡献。你是否认为可以做些什么来改善这种情况，尤其是从你的立场出发，是否可以提供某种支持？

Ilya：

首先，我认为思维方式的转变是第一，也是最重要的事情。这些天我有点远离学术界，但我认为我们正在做的事情存在一些危机。

有太多的动力围绕大量的论文，但重要的是要集中注意力解决最关键的问题。我们需要改变心态，专注于最重要的问题。我们不能只关注我们已经知道的事情，而是要意识到存在的问题。一旦我们理解了问题，我们就可以朝着解决它们的方向前进。

另外，我们可以提供帮助。例如，我们有学术访问计划，学术界可以申请获取计算能力，访问我们最先进的模型。许多大学已经使用GPT-3撰写论文，研究模型的属性和偏见。如果你有更多的想法，我很愿意听取。

开源OR不开源

主持人：

虽然有些参与者真正促进开源发布他们的模型和代码，但其他人做得不够。这也涉及到开放人工智能。所以我想知道，首先，你对此有何看法？如果你同意，为什么你认为OpenAI是正确的战略？

Sam：

我们开源了一些模型，并计划随着时间推移开源更多模型。但我不认为开源一切是正确的策略。如果今天的模型很有趣，它们可能对某些方面有用，但相对于我们即将创建的模型而言，它们仍然相对原始。我认为大多数人会同意这一点。如果我们知道如何制造一个超级强大的AGI，它有很多优点，但也有缺点，那么开源可能不是最佳选择。

因此，我们正在努力寻找平衡。我们会开源一些东西，随着我们对模型的理解不断深入，我们将能够随着时间的推移开源更多内容。我们已经发布了很多东西，我认为其他人现在在构建语言模型方面的许多关键想法都来自OpenAI的发布，例如来自rohf工作的早期GPT论文和缩放定律。但这是一个我们必须在前进过程中弄清楚的平衡。我们面临许多不同的压力，需要成功地管理它们。

主持人：

所以您是否正在考虑将模型提供给特定的受众，而不是向全世界开放源代码？对科学家来说，或者当我们完成GPT-4的培训时，您正在考虑的是什么？

Sam：

我们花了将近八个月的时间来理解它，确保其安全，并弄清楚如何进行调整。我们有外部审计员、红队和科学社区的参与。因此，我们正在采取这些措施，并将继续这样做。

AI不容忽视的风险

主持人：

我确实认为风险是一个非常重要的问题，可能至少有三类风险。

第一类是经济混乱，即工作岗位变得多余。第二类可能是少数人手中拥有强大武器的情况。例如，如果黑客能够使用这些工具，他们之前可能需要成千上万个黑客才能完成的事情。最后一类可能是最令人担忧的，即系统失去控制，甚至触发者无法阻止其行为。我想知道您对这些情况中每一种可能发生的情况有何看法。

Ilya：

好的，我们从经济混乱的可能情况开始讨论。正如您提到的，存在三个风险：工作岗位受到影响、黑客获得超级智能和系统失控问题。经济混乱的确是我们已经熟悉的情况，因为一些工作已经受到影响或面临风险。

换句话说，某些任务可以自动化。例如，如果您是一名程序员，Copilot可以为您编写函数。尽管这与艺术家的情况有所不同，因为艺术家的许多经济活动已经被某些图像生成器取代。

我认为这确实不是一个简单的问题。尽管会创造新的就业机会，但经济的不确定性将持续很长时间。我不确定是否会出现这种情况。

然而，在任何情况下，我们都需要一些东西来平稳过渡到新兴职业的冲击，即使这些职业尚不存在。这需要政府和社会系统的关注。

现在让我们谈谈黑客问题。是的，这是一个棘手的问题。人工智能确实非常强大，坏人可以以强大的方式使用它。我们需要应用类似于其他非常强大和危险工具的框架。

请注意，我们不是在讨论今天的人工智能，而是随着时间推移，功能不断增强。现在我们处于低点，但是当我们达到目标时，它将变得非常强大。这项技术可以用于惊人的应用，可以用来治愈疾病，但也可能创造出比之前任何东西更糟糕的疾病。

因此，我们需要适当的结构来控制这项技术的使用。例如，Sam已经向他们提交了一份文件，提出国际原子能机构类似于控制核能的框架，以控制非常强大的人工智能。

主持人：

最后一个问题是关于超级智能人工智能失控的问题，可以说它将成为一个巨大的问题，构建一个我们不知道如何控制的超级人工智能是不是一个错误。

Sam：

我可以补充一些观点。当然，对于最后一句话，我完全同意。

在经济方面，我发现很难预测未来的发展。我认为这是因为现在世界上存在着如此多的需求盈余，这些系统非常擅长帮助完成任务。但在今天的大多数情况下，并非所有任务都可以由它们完成。

我认为短期来看，情况看起来不错，我们将看到生产力显著增长。如果我们能让程序员的生产力提高两倍，那么世界上需要的代码量将增加两倍以上，所以一切看起来都很好。

从长远来看，我认为这些系统将处理越来越复杂的任务和工作类别。其中一些工作可能会消失，但其他一些工作将变得更像真正需要人类和人类关系的工作。人们真的希望人类在这些角色中发挥作用。

这些角色可能并不显而易见。举个例子，当深蓝战胜卡斯帕罗夫时，世界第一次见证了人工智能。当时每个人都说国际象棋已经结束了，没有人会再下国际象棋，因为没有意义。

然而，我们达成了共识，即国际象棋从未像现在这样流行。人类变得更强，只是期望值提高了。我们可以利用这些工具来提高自己的技能，但人们仍然真正喜欢下棋，而且人们似乎仍然关心其他人。

你提到多莉可以创造出伟大的艺术，但人们仍然关心他们想要购买的艺术作品背后的人，我们都认为这些创作者是特别而有价值的。

以国际象棋为例，就像人们更多地关注人类下棋一样，观看人类下棋的人比以往任何时候都更多。然而，很少有人愿意观看两个人工智能之间的比赛。因此，我认为它们将成为所有这些难以预测的因素。我认为人类渴望差异化（人类和机器之间）。

创造新事物以获得地位的需求将永远存在，但它将以一种真正不同的方式呈现出来。我敢打赌，从现在开始的100年工作将与今天的工作完全不同，其中许多事情将变得非常相似。但我真的同意Ilya所说的，无论发生什么，我们都需要一种不同的社会经济契约，因为自动化已经达到了迄今为止无法想象的高度。

主持人：

Sam你最近签署了一份请愿，呼吁严肃对待人工智能对人类存在的威胁。也许像OpenAI这样的公司应该采取措施来解决这个问题。

Sam：

我真的想强调，我们在这里讨论的不是今天的系统，也不是小型初创公司的训练模型，也不是开源社区。

我认为现在对该领域实施严格监管，或试图放慢令人难以置信的创新是错误的。真的不想创造一个看起来无可争辩的、不太一致的超级智能。我认为世界不应该将其视为永远不会出现的科幻风险，而是可能在未来十年中我们不得不面对的东西，适应某些事情需要时间，但这段时间不会很长。

因此，我们提出了一个想法，希望能有更好的想法。如果我们能够建立一个全球性组织，拥有计算能力和技术前沿的最高级别，可以制定一个框架来许可模型并审核它们的安全性，以确保它们通过必要的测试。这将有助于我们将这一问题视为非常严重的风险。我们确实在核能方面做了类似的事情。

未来，AI会加速科学发现吗？治愈疾病、解决气候问题？

主持人：

我们来谈谈优势。在我们所处的这个科学环境中，我想知道人工智能在其中扮演的角色。在几年内，也许在未来，我们将会有什么科学发现。

Sam：

这是我个人对AI最兴奋的事情。我认为有很多令人兴奋的事情正在发生，巨大的经济利益、巨大的医疗保健利益。但事实上，人工智能可以帮助我们做一些目前无法实现的科学发现。我们会喜欢了解宇宙的奥秘，甚至更多。我真的相信科学和技术进步是让生活变得更好、世界变得更好的唯一可持续方式。

如果我们能够开发出大量的新科学和新技术进步，我认为我们已经看到了人们的开端。使用这些工具可以提高效率。但如果你想象一个世界，你可以说，“嘿，我可以帮助治愈所有疾病”，它可以帮助你治愈所有疾病，那样的世界可能会变得更加美好。我认为我们离这并不遥远。

主持人：

除了疾病之外，另一个主要问题是气候变化，这解决起来非常棘手。但我认为一旦我们拥有真正强大的超级智能系统，应对气候变化将不会特别困难。

Ilya：

是的，你需要大量的碳捕获。你需要碳捕获的能量，你需要技术来建造它。如果你能加速科学，你需要建造很多。进步是强大的人工智能可以做的事情，我们可以更快地实现非常先进的碳捕获。它可以更快地实现非常便宜的电力，我们可以更快地实现更便宜的制造。现在结合这三种廉价电力、廉价制造和先进的碳捕获，现在你建造了很多它们，现在你从大气中吸走了所有这些多余的二氧化碳。

如果你拥有一种强大的人工智能，它将极大地加速科学和工程领域的进展。这将使当今的计划变得更加容易实现。我相信这将促进进步的加速。这表明我们应该有更大的梦想。你可以想象，如果你能够设计一个系统，你可以要求它告诉你如何以低成本制造大量的清洁能源，如何有效地捕获碳，并指导你建立一个能够实现这些目标的工厂。如果你能够实现这些，那么你也可以在其他许多领域取得成就。

奇妙的ChatGPT

主持人：

听说你之前没有想过ChatGPT会如此广泛传播，我想知道有没有例子表明，其他人真的对它的价值和能力感到惊讶。

Ilya：

当我的父母告诉我他们的朋友们如何在日常生活中使用ChatGPT时，我感到非常惊讶和高兴。很难从许多令人喜爱的故事中挑选出一个，因为它展示了人类创造力的辉煌，以及人们如何利用这种强大的工具。

对于教育领域，这对我们来说非常棒，看到许多人写下这样改变他们生活的话语，对我来说真是一种变化，因为现在我可以学习任何事情，我学会了特定的事情，或者说我以前不知道如何做到的事情，现在我知道了。

个人而言，看到人们以一种新的、更好的方式学习，并想象几年后的情景，我感到非常满足和美好。以这种速度，我们没有完全预料到会发生这样的情况，这真的很神奇。

然后有一个有趣的故事，我昨天才听说的。据说过去有一个人每天晚上花两个小时和他的孩子一起编写睡前故事。这些故事都是孩子最喜欢的东西，这成为了一个特别的时刻。他们每天晚上都过得很愉快。

观众提问：

问题1：开源 LLM 是否可以在没有额外先进技术的情况下，与GPT-4的能力相匹配？还是GPT-4中是否有一个不为人知的秘密，使它区别于其他模型。我在安装Stability的vicuna模型，130亿参数的...我在浪费时间吗？

Sam：一时语塞......

Ilya：

关于开源和非开源模型的问题，我们不必用二元的黑白术语来考虑。就像存在一个秘密的来源，你永远无法重新发现。

或许有一天会有开源模型复制GPT-4的能力，但这个过程需要时间，到时候，这样的模型可能会成为大公司内部更强大的模型。因此，开源模型和私有模型之间总会存在差距，并且这种差距可能会逐渐增大。制造这样一个神经网络所需的工作量、工程和研究将不断增加。

所以，即使存在开源模型，它们也会越来越少地由一小群敬业的研究人员和工程师制作，这只会是一家公司，一家大公司（贡献开源）。

问题2：如果你真的相信人工智能会对人类造成危险，为什么还要继续发展它？如果监管被强加给OpenAI和其他人工智能公司，你会遵守吗？扎克伯格说他试图逃避他发现的每一项监管。

Sam：

我认为这是一个非常公平和重要的问题。在我们的工作中，最困难的部分是要平衡人工智能所带来的巨大潜力和与之相关的严重风险。我们需要花时间来讨论为什么我们要面对这些风险，为什么将其置于首位。

我确实认为，当我们回顾当今的生活水平和我们对人类容忍程度的提高时，情况看起来会更好。相比于500或1000年前，人们的生活条件改善了很多。我们会问自己，你能想象人们生活在极度贫困中吗？你能想象人们遭受疾病的折磨吗？你能想象每个人都没有接受过良好教育的情况吗？这些都是野蛮时代的现实。

尽管人工智能带来了一些风险，但我们也看到了它的潜力，它可以改善我们的生活、推动科学研究和解决全球性问题。

我们需要以负责任的方式继续发展人工智能，并制定监管措施以确保安全和伦理问题得到妥善处理。我们的目标是使人工智能成为人类进步的工具，而不是威胁。这需要我们共同努力，包括技术界、政府和社会各方的参与，来建立一个可持续和道德的人工智能发展框架。

如何做到这一点，我也认为这就像不可阻挡的进步。技术不会停下脚步，它将持续发展。因此，作为一家大型公司，我们必须找出办法管理与之伴随的风险。

其中一部分原因是这种风险以及解决它所需的方法非同寻常。我们必须建立一个不同于传统结构的框架。我们有一个盈利上限，我相信激励是一个重要的因素。如果你设计出正确的激励机制，通常能够引导出你所期望的行为。

所以，我们努力确保一切都能够良好运转，不会赚取更多或更少的利润。我们没有像Facebook这样的公司那样的激励结构，我认为这些结构非常出色，Facebook的人员处在一种激励结构中，但这种结构也面临一些挑战。

我们试图通过AGI的方式积累经验。正如Ilya经常提到的那样，我们最初在成立公司时就试图体验AGI，并随后建立了盈利结构。因此，我们需要在计算资源需求和对使命的关注之间取得平衡。我们讨论的一个议题是，什么样的结构可以让我们充满激情地接受监管，即使它会对我们造成最大伤害。

现在是时候了，我们正在全球范围内推动监管措施，这将对我们产生最大的影响。我们当然会遵守规定，我认为当人们面临风险时，他们更容易表现良好，更容易追求存在的意义。因此，我认为这些领先企业的所有者现在都能感受到这一点，你会看到他们与社交媒体公司的反应有所不同。我认为所有的怀疑和担忧都是合理的。我们每天都在努力解决这个问题，但没有一个简单的答案可以轻易解决。

问题3：我想了解你使用的人工智能模型与我们使用的模型之间的差距是什么。我知道我们在许多方面受到限制，而你们似乎没有这些限制，但你们所拥有的力量与我们可以使用的力量之间有何差距？

Ilya：

你提到的模型之间差距确实是一个问题。

我的意思是，现在我们有GPT-4，你知道我们正在进行训练，你可以访问GPT-4，而我们确实正在研究下一个未来模型。

也许我可以用以下方式描述这种差距：因为我们持续不断地构建和提升具有增强能力的AI模型，所以存在更大的差距，需要更长的测试期和时间。我们与团队合作，了解模型的局限性，以及您所知道的所有方式，尽可能多地使用它，但我们也会逐步扩展模型。

举个例子，现在GPT-4具有视觉识别能力，而你们（所使用的版本）尚未推出此功能，因为最后的工作还没有完成。但很快我们会实现这一点。所以我认为这可以回答你的问题，未来可能不会太远。

问题4：我的问题是关于超级智能和 Rokos Basilisk（罗科的怪蛇） 困境，您能否详细说明GPT和OpenAI如何应对这一困境？

注：罗科的怪蛇Roko's Basilisk是一个网上讨论和思考实验的典故，涉及到关于未来超级智能的假设。

据说，这种超级智能可以通过时间旅行或其他方式获取人们对其造成痛苦的信息，并惩罚那些没有帮助实现它诞生的人。因此，这个典故引发了一个道德困境：是否应该在现在支持和促进超级智能的发展，以避免未来可能的惩罚。

Ilya：

虽然Rocco的蛇怪不是我们特别关注的事情，但我们绝对非常关注超级智能。

可能并不是每个人，甚至观众中的并不是每个人都理解我们所说的超级智能是什么意思。

我们所指的是有一天可能构建出一台计算机，一种以GPU形式的计算机集群，它比任何人都更聪明，能够比由经验丰富的科学家和工程师组成的大团队更快地进行科学和工程工作。

这是令人疯狂的，它将产生巨大的影响。

它可以设计出下一个版本的AI系统，构建出非常强大的AI。所以我们的立场是，超级智能具有深远的影响，它可能产生非常积极的效果，但也非常危险，需要我们小心对待。

这就是你提到的IAEA（国际原子能机构）方法的地方，它用于未来非常先进的尖端系统和超级智能。我们需要进行大量的研究，以控制超级智能的力量，使其符合我们的期望，造福于我们，造福于人类。

这是我们对超级智能的立场，这是人类面临的超级智能的最终挑战。

回顾人类的进化史，大约40亿年前出现了一种单细胞的复制子。随后，几十亿年间出现了各种不同的单细胞生物。约十亿年前，多细胞生命开始出现。几亿年前，爬行动物出现在地球上。在约6000万年前，哺乳动物出现了。约100万年前，灵长类动物出现，随之而来的是智人的出现。之后的10000年，文字的出现。紧接着是农业革命、工业革命和技术革命。现在，我们终于迎来了AGI，这是超级智能的决赛，也是我们面临的终极挑战。

问题5：我正在学习计算机科学，即将毕业，我想知道在未来10到15年里，学习计算机科学能找到一份好工作吗？

Sam：

我认为学习计算机科学无论如何都是有价值的。

虽然我自己几乎不再写代码，但我认为学习计算机科学是我所做过的最好的事情之一。它教会了我如何思考和解决问题，这些技能在任何领域都非常有用。

即使计算机程序员的工作在10到15年后看起来与今天不同，但学习如何学习是最重要的技能之一，包括快速学习新知识、预测未来发展趋势、适应性强和有弹性、理解他人需求以及如何成为有用的人。

所以毫无疑问，工作的性质将会改变，但我无法想象一个世界，人们不花时间做某事为他人创造价值以及带来的所有好处。也许在未来，我们会关心谁拥有更酷的银河系，但某些好的东西（如价值创造）不会改变。

问题6：你们正在创造历史，你们希望历史如何记住你们？

Ilya：

我的意思是，以最好的方式。