吴恩达终于理解：LLM大语言模型理解了世界

吴恩达终于理解：LLM大语言模型理解了世界

大型语言模型了解世界吗？
作为一名科学家和工程师，我一直避免问人工智能系统是否 "理解 "任何事物。

对于一个系统是否真的理解--而不是看似理解--并没有一个得到广泛认同的科学检验标准，就像我在之前的一封信中讨论过的意识或智商一样，也不存在这样的检验标准。
这使得 "理解 "问题成为哲学问题而非科学问题。

但有一点需要注意的是，我相信LLM建立了足够复杂的世界模型，因此我可以放心地说，在某种程度上，它们确实理解了这个世界。

在我看来，关于Othello-GPT 的研究令人信服地证明，LLM建立了世界模型；也就是说，他们弄清了世界到底是什么样的，而不是盲目地鹦鹉学舌（banq注：说这话的人不懂 现代哲学奠基之一 维特根斯坦 的 语言游戏和符号推理）：

Kenneth Li 及其同事在黑白棋的移动序列上训练了 GPT 语言模型的变体，黑白棋是一种棋盘游戏，由两名玩家轮流在一个 8x8 的网格上摆放棋子。例如，一个移动序列可能是 d3 c5 f6 f5 e6 e3......，其中每一对字符（如 d3）都对应于在棋盘的一个位置放置一个棋子。

在训练过程中，LLM只看到棋步序列。它并没有被明确告知这些是在正方形 8x8 棋盘上的走棋，也没有被明确告知游戏规则。在对大量此类棋步的数据集进行训练后，它在预测下一步棋步方面做得很好。

关键问题是该网络是通过建立世界模型做出这些预测的吗？
也就是说，它是否发现有一个 8x8 的棋盘和一套特定的棋子放置规则是这些棋步的基础？

作者令人信服地证明，答案是肯定的。

具体来说，在给定一连串棋步的情况下，网络的隐藏单元激活似乎捕捉到了当前棋盘位置以及可用合法棋步的表征。

这表明，该网络并不是一只只试图模仿训练数据统计的 "随机鹦鹉"，而是确实建立了一个世界模型。
(banq注：通过语言游戏 鹦鹉学舌 LLM其实建立了自己的符号推理模型，只是人类看不懂或知道，但是这个简单围棋让科学家放心的看见了，找到了确定性的感觉，其实是 确认偏见 而已)

虽然这项研究使用的是黑白棋，但我毫不怀疑，根据人类文本训练的 LLM 也会建立世界模型。
LLMs 的许多 "突发 "行为--例如，一个经过微调以遵循英语指令的模型可以遵循其他语言写成的指令--似乎很难解释，除非我们把它们看作是对世界的理解。

人工智能与 "理解 "这一概念搏斗了很长时间。
哲学家约翰-塞尔（John Searle）于 1980 年发表了《中国房间论证》（Chinese Room Argument）。他提出了一个思想实验：想象一个说英语的人独自在一个房间里，房间里有一本操作符号的规则手册，他能够把写在门缝塞进来的纸上的中文翻译成英文，尽管这个人不懂中文。塞尔认为，计算机就像这个人。它看起来懂中文，但实际上并不懂。

一个被称为 "系统回复 "的常见反驳是，即使 "中文房间 "场景中的任何一个部分都不懂中文，由人、规则书、纸张等组成的完整系统还是懂的。

同样，我大脑中的任何一个神经元都无法理解机器学习，但我大脑中所有神经元组成的系统却有希望理解机器学习。

在我最近与杰夫-辛顿（Geoff Hinton）的谈话中，我们都同意 "LLM理解世界 "这一观点。
(banq注：主要是他想通了 通过鹦鹉学舌，LLM这只鹦鹉其实建立了自己理解世界的模型，这说明曾经的AI牛人陷入在算法 中而不自知，忽视了数据这种符号语言对算法的涌现作用，在ChatGPT成功后能快速觉悟也是大好事啊，因为他的影响力很大。)

虽然哲学很重要，但我很少写这方面的文章，因为这种争论可能会无休止地持续下去，而我宁愿把时间花在编码上。我不确定当代哲学家对LLM理解世界的看法，但我确信我们生活在一个充满奇迹的时代！