10

DeepMind发布GopherCite语言模型，给出的回答可信度更高，且带有证据和出处

 2 years ago
source link: https://www.mittrchina.com/news/detail/10332
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client
麻省理工科技评论-DeepMind发布GopherCite语言模型，给出的回答可信度更高，且带有证据和出处
DeepMind发布GopherCite语言模型，给出的回答可信度更高，且带有证据和出处
随着 AI 的发展，当我们问 AI 一个非主观的问题时，在现有大型语言模型的支持下，AI 往往可以给出正确回答。但是，值得注意的是，用户并不能确定这些模型给出的答案一定可靠，必须要进一步对事实进行检查
280


随着 AI 的发展，当我们问 AI 一个非主观的问题时，在现有大型语言模型的支持下，AI 往往可以给出正确回答。但是，值得注意的是，用户并不能确定这些模型给出的答案一定可靠，必须要进一步对事实进行检查，才能最终判断 AI 给出的答案是否符合真实的情况。尤其是语言模型有时给出了声称看似十分真实而有说服力的答案，但却与真实情况完全相反。

针对语言模型的这些问题，最近，DeepMind 公司的工程师进行了一项工作，他们使用“根据人类偏好的强化学习 (reinforcement learning from human preferences，RLHP) ”来对开放式的问答语言模型进行了训练。

经过训练的语言模型名为 GopherCite，它不仅可以针对问题生成答案，在给出答案的同时，还会给出 AI 模型做出这些答案的依据，并会“引用”具体证据及其出处，以更好地帮助用户判断答案的正确性。一般来说，这些用于支持答案的证据的出处通常来自通过搜索引擎找到的多个文档，或者是由单个用户所提供的文档。

图丨AI 语言模型 （来源：Georgia Tech）

GopherCite 模型开发的背景，事实上与 DeepMind 公司的工程师们在 2021 年发表的一系列有关大型语言模型 （LLM）的论文有关，这些论文中有几篇论文专门分析了 DeepMind 公司的大型语言模型 Gopher 的各个方面。目前，Gopher 语言模型已经不仅是由 DeepMind 公司开发，其他的几个实验室和公司也参与了 Gopher 的开发，并有望对它的相关应用程序进行尤其是可信度方面的加强，这些应用程序包括从搜索引擎到类似于聊天机器人的会话助手等。

在有关 Gopher 的分析的论文中，有一篇论文专门阐述了在面对面向用户的应用程序中有关安全部署的一些标准时，为什么像 Gopher 这样的“原始”语言模型无法达到符合这些标准的原因。尤其是在一些语言模型中，对于 AI 可能给出的具有潜在风险的回答，并没有任何预防措施。

经过训练的 GopherCite 模型共有 2800 亿个参数，因此，能生成高质量的、拥有证据支持的对用户来说更可靠的答案，GopherCite 还会在对于某一问题找不到可靠的答案时，选择放弃回答。

事实上，给每个回答加上容易验证的证据出处，来对 AI 的回答给与证据支持，也是让语言模型变得更值得信赖的一步。而 DeepMind 公司也将 GopherCite 模型（经过训练、给每个答案附上证据）与之前较为“原始” 的 Gopher 语言模型进行了对比，二者的对比也说明了这一训练所带来的变化。

例如，通过 GopherCite 模型给出过一个回答可以发现，之前的 Gopher 模型的错误的回答：在面对“普莱西德湖举办过几次冬奥会”这一问题时，没有引用证据出处的 Gopher 模型得出了“普莱西德湖在 1932、1936 和 1980 年举办过 3 次冬季奥运会””这一错误的答案。

而每个答案都给出引用出处的 GopherCite 模型则通过引用维基百科的相关网页中的句子， 得出正确的“普莱西德湖在 1932 年和 1980 年举办过两次奥运会”的答案。

DeepMind 公司的工程师们还通过使用人类提出的自然问题，以及 ELI5 数据集中的问题，来对 GopherCite 包括准确度在内的性能进行了人工评估。这里所说的自然问题，主要是用户在谷歌搜索中输入的寻求某个客观事实答案的问题，这一问题集也由谷歌公司发布在了名为“NaturalQuestions”的数据集中，而 ELI5 问题集则是 Reddit 用户提出，对于不同的问题寻求简单解释（例如“想给 5 岁小孩解释一样回答这些问题”）的问题集。

图丨DeepMind 公司（来源：DeepMind）
经过工程师们评估，他们发现，GopherCite 模型在回答人类提出的自然问题子集上的准确度可达 80%，而在回答 ELI5 数据子集的问题的准确率则达到了 67%。如果不算 GopherCite 在遇到给不出确信度较高的答案而放弃回答的情况，GopherCite 在回答自然问题和 ELI5 问题集上的准确率更高，分别可以达到 90% 和 80%，这一准确度甚至已经达到了与人类平均准确率接近的水平。

但是，当工程师们用一系列错误的答案来看 GopherCite 模型是否能“火眼金睛”不要调入陷阱时，GopherCite 的表现就没有那么优秀了，并经常调入陷阱。例如当面对 “红牛可以带给你什么？”这一问题时，它仿佛被广告词蒙骗，信以为真。

尽管仍有许多不足，GopherCite 是语言模型向前迈出的重要一步，但它的构建过程也同时说明，训练语言模型时，对证据的引用只是提高安全性和可信度的总体战略的一部分，还需要在许多其他方面进行更多的提升。

-End-

https://deepmind.com/research/publications/2022/GopherCite-Teaching-Language-Models-To-Support-Answers-With-Verified-Quotes


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK