Meta研究员破解大模型逆转诅咒，推出《语言模型物理学》
source link: https://www.mittrchina.com/news/detail/13209
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
麻省理工科技评论-Meta研究员破解大模型逆转诅咒，推出《语言模型物理学》
大语言模型的诞生，切实地推进了人工智能的发展。但随着模型越来越大、训练数据越来越多，人们对于模型的了解反而越来越少。
就拿大语言模型的典型代表 GPT-4 来说，即便时至今日，它依然会对一些在人类看来很简单的问题，给出错误的回答（如下图所示的两个案例）。
那么，这到底是 GPT-4 本身的问题，还是它的训练数据不足，亦或是它的数学能力太弱？其他模型会有这个问题吗？
对于追求严谨的科学家来说，有必要思考这一系列问题的原因，并尝试发现其背后存在的普适性定律。
6 个月前，来自 Meta 旗下的人工智能基础研究实验室（FAIR Labs）的朱泽园和合作者 MBZUAI 的李远志教授，在研究大语言模型是“如何学习知识”的过程中，发现了一些意想不到的复杂情况。
譬如：有些知识，模型可以记住，但说不出来；有些知识，模型可以说出来，但是无法推演。
有些具备顺序性的知识，比如成语“继往开来”这四个字，始终是按顺序出现的，所以不管大语言模型有多大以及训练了多久，它都只能记住正序，而无法记住逆序知识。这种涉及到“知识的顺序性”的现象，被学术界称为“逆转诅咒”。
为了克服这一难题，近日，FAIR Labs 实验室提出了一种替代训练方案名为“逆转训练”，大致思路是对所有的数据，都正向和“逆向”同时训练两次，然后通过寻找最可靠的“逆向”训练方法，来效地解决逆转诅咒问题。
近日，相关论文以《逆转训练攻克逆转诅咒》（Reverse Training to Nurse the Reversal Curse）为题在预印本平台 arXiv 上发表[1]。
作者包括 FAIR Labs 研究工程师奥尔加·戈洛夫涅娃（Olga Golovneva）、研究科学家朱泽园（Zeyuan Allen-Zhu）、研究科学家杰森·韦斯顿（Jason Weston）和研究科学家桑巴亚尔·苏赫巴托尔（Sainbayar Sukhbaatar）。
提出逆转训练方案，攻克大语言模型的逆转诅咒难题
其实，在探究大模型针对简单的问题却给出错误回答背后的原因时，朱泽园认为，过度追求大语言模型在基准数据集上的表现，也可能让人类和通用人工智能渐行渐远。
例如，最近发表在 Nature 上的 AlphaGeometry[2]，是 DeepMind 开发的一个 AI 系统，能够解决国际数学奥林匹克竞赛 30 道平面几何题中的 25 道。
但它的主算法却是一个没有 AI 参与的暴力搜索，搜索的步骤从数百条由人工挑选的引理中选择。
有没有一种可能是，DeepMind 人工挑选了上百条为 30 道国际数学奥林匹克竞赛题量身定做的引理呢？
“我们对此表示质疑（仅代表本团队，并非 Meta 官方立场）。但从科学的角度来看，我们应该尽量避免人工干预，以防‘有多少人工，就有多少智能’。” 朱泽园表示。
基于类似以上的担忧，朱泽园提出了“语言模型物理学”这一新概念。
此概念主张，在物理学的启发下化繁为简，将“智能”分拆成多个维度，包括语法、知识、推理、解题等，并给每个维度创建全新的合成数据，搭建理想化的大语言模型训练和测试环境，以探索模型所具备的普适性定律。类似在真空中研究牛顿定律，或是理想环境下研究气体方程。
需要说明的是，研究人员并不应该局限于类似 GPT-4 这样的个别模型，而是应该总结出在理想的数据集下，任何模型所展现出的普适性质。
“对于人工智能领域来说，通过在理想环境中去伪存真，我们可以排除数据作弊、人工挑选等因素，真正找出大语言模型的普适定律，并提出增强性能的方案。”朱泽园表示。
据了解，《语言模型物理学》项目的第一部分专注于语法研究，第二部分侧重于推理研究，第三部分则聚焦于知识研究，其他更多部分的研究也在积极推进中，并在 Meta 内部立项，得到 FAIR 研究院的海量算力支持。
“不过因为发现过多，仅是其中第三部分‘知识研究’就拆成了至少三篇论文 Part 3.1、3.2、3.3，每篇都有几个甚至十几个结论，均已在 arXiv 上发表。”朱泽园说。
对于发表在 Part 3.2 论文中的“知识的顺序性”这一现象来说，朱泽园和李远志最早是在理想环境中观察到它，而后又在市面上可见的预训练模型，如 GPT-4 和 LLaMA-2 中，验证了它的存在。
那么用“理想环境”而不是现实模型来做研究，有什么好处呢？
譬如这个课题里，在理想环境中我们可以固定知识的顺序，也不用担心测试数据的污染。
假如我们永远都说“某某人，在 XXXX 年 X 月 XX 日出生”，以保证数据集中的知识都是人名在生日之前；然后，再提取出该数据集中一半的人员信息，训练模型的逆向知识提取能力，比如“在 XXXX 年 X 月 XX 日出生的人，叫什么名字”。
我们就会发现，不管模型多大、训练多久，它都只能对这一半的人完成逆向知识提取（正确率 100%，因为这一半人在训练集里），而无法推演（generalize）到剩下一半的人（正确率 0%）。
换言之，理想环境下，不仅可以将测试集和训练集完全分开，也能让数据量无限增大，甚至还可以把模型打开，观察出“为什么”知识无法逆向提取，并得到提取知识的充分必要条件。
更重要的是，理想环境下的研究，可以推广到包括 GPT-4 在内的现实模型上，也能观察到“逆转诅咒”。
比如，除了如上所说的成语逆转，还可以向大语言模型询问“西出阳关无故人”的上一句话，或是给出百科上名人的出生年月日/工作单位/城市，来反问大语言模型这个人名是谁。
“大量的测试告诉我们，现实模型也无法很好地回答这样的逆序知识类问题。”朱泽园说。
不过，需要指出的是，在现实模型上很难确定造成这些错误回答的原因，究竟是模型训练得不够久，还是数据不够多。
即便现实模型答对了，会不会它的训练数据中看到了原题（也就是数据污染）。综上，在现实模型上直接研究，很难得到令人信服的、科学的结论。
“这就是为什么我们要做《语言模型物理学》的原因，即希望探索出一种全新的研究 AI 模型的思路。”朱泽园表示。
发现问题是一方面，要想解决“逆转诅咒”，就是一个新的延伸课题了。为此，朱泽园和 FAIR Labs 实验室的“推理记忆”课题组联手，基于理想环境中的发现，给出现实生活中的一个解决方案——随机拆词反转训练。
主要是把每 1-25 个连续 token（对应约 1-15 个英语单词）随机拆成一组，在保持每组顺序不变的前提下，将整个文章进行反转。
同时使用正向的原文，和反转后的文字对语言模型进行训练。如果同一数据会多次进行反转训练，则可以每次用不同的随机方法拆词，这在无形之中增加了数据的多样性，从而增强大模型对知识的存取效率。
从另一方面来看，随机拆词并翻转也模拟了人类速读。也就是说，当我们快速阅读一段文字的时候，眼睛也在进行随机拆解，甚至也会无序地阅读。包括在学习重要知识时，还会前后翻书和反复阅读。
研究人员将上述方法称为“逆转训练”，并且在 LLaMA-2 模型上做了真实数据的测试。
同时，他们还得到了一个重要的发现：如果正反向都进行训练，既不会影响正向的训练结果，又不会让传统的基准数据集得分降低。
对于《语言模型物理学》系列作品给应用领域带来的影响，朱泽园认为会是非常全面的。作为该系列作品的一个衍生成果，《逆转训练攻克逆转诅咒》很可能在帮助解决大语言模型的诸多问题之一的同时，在所有公司的所有应用场景中得到应用。
“当然，一切的理论研究走到实际落地都有一个过程。我欢迎所有的研究人员参考我们论文给出的理论指导建议，在实际应用中找到增益。”朱泽园说。
另外，值得一提的是，2024 年 7 月，朱泽园将在 ICML 2024 上，受邀开展《语言模型物理学》系列讲坛（tutorial）课程。
致力于挑战人工智能的每个维度，希望探索出大语言模型的普适性物理定律
据了解，朱泽园本科就读于清华大学物理系，博士毕业于美国麻省理工计算机系，是图灵奖得主希尔维奥·米卡利（Silvio Micali）教授的弟子，后在美国普林斯顿大学和从事博士后研究，师从刚刚获得图灵奖的艾维·维格森（Avi Wigderson）教授。
他曾是国际信息学奥林匹克竞赛两届金牌、国际大学生程序设计竞赛全球总决赛金牌的获得者，也在谷歌全球编程挑战赛（Google Code Jam）中获得世界第二的成绩。
在 2022 年加入 FAIR Labs 之前，朱泽园曾在微软研究院总部任职。
“加入 FAIR Labs 以后，我被给予了 100% 的科研自由，可以独立发起项目，选择我认为最重要的人工智能课题进行长期研究。《语言模型物理学》项目，就是我所负责的长期项目。”朱泽园介绍说。
如上所说，《逆转训练攻克逆转诅咒》，是该项目的一个衍生课题。
不过，在最早参与该课题时，朱泽园并不十分“积极”。这主要是因为他考虑到精力有限，所以对参与科研课题一贯持谨慎态度。
“当这一课题负责人苏赫巴托尔联系我时，我从理论的角度出发，告诉他已经在理想环境下证明了数据反向训练有效。所以，我认为逆转训练这个方法太过简单，只需要多做点大规模的实验而已。”他说。
但苏赫巴托尔反问道：“那你当初为什么要发表 LoRA 呢？”
这个问题促使朱泽园进行了长时间的思考和反省，并最终做出了改变想法的决定。
其中，LoRA 是朱泽园在微软研究院供职时参与开发的一个简单有效的微调工具。当时他也曾认为该工具过于简单，但如今后者已经成为行业内最常用的微调算法，业内几乎无人不晓。
《逆转训练攻克逆转诅咒》课题开始进行之后，朱泽园和合作者发现不同的逆转训练策略在效果上存在差异，与他们最初的预期不同。对此，他们也在论文中进行了详细的比较。
“总的来说，如果一个算法简易且有用，还不需要复杂的数学公式，这不正是我们人类最希望获得的吗？”朱泽园表示。
另外，在目前研究的基础上，他告诉我们，《语言模型物理学》项目也制定了后续计划，包括 2 个月内可以发布的项目第二部分“语言模型推理研究”的两篇论文，会在理想环境下研究并提高 AI 模型在小学数学题上的推理能力等。
朱泽园说：“我们有一个很远大的目标，那就是在理想的环境里去伪存真，挑战人工智能的每一个维度，总结出大语言模型的普适物理定律。”
与此同时，他也认为，致力于研究理想环境下的大语言模型的《语言模型物理学》项目，与大部分科研都不相同。
“在我眼中，这仿佛是一个新的学科和一个新的研究问题的方式，非常刺激。因此，我几乎停下了手上一切科研方向，全身心地扑向其中。”他表示。
即便在研究过程中受到诸多批评和质疑，包括测得的数据是否过于理想化、可能太过局限，以及和实际有差异等，但他对此却依然毫不担心。
他始终奉行坚持日心说的意大利科学家乔尔丹诺·布鲁诺（Giordano Bruno）曾经说过的这句话，“真理不会因为大多数人相信或不相信而改变”。
参考资料：
1. O.,Golovneva, Z., Allen-Zhu, J., Weston. et al. Reverse Training to Nurse the Reversal Curse. arXiv:2403.13799v1（2024）.https://doi.org/10.48550/arXiv.2403.13799
2. Trinh, T.H., Wu, Y., Le, Q.V. et al. Solving olympiad geometry without human demonstrations. Nature 625, 476–482 (2024). https://doi.org/10.1038/s41586-023-06747-5
3. Z. Allen-Zhu, Y. Li. Physics of Language Models: Part 3.2, Knowledge Manipulation.arXiv:2309.14402（2023）. https://arxiv.org/abs/2309.144027
排版：刘雅坤
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK