6

大语言模型注定会产生幻觉?

 1 year ago
source link: https://www.jdon.com/68138.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

大语言模型注定会产生幻觉?

23-09-05 banq

像 ChatGPT 这样的所有主要人工智能语言模型都会产生幻觉,编造虚假事实。虽然无法解决,但整理训练数据和强化学习等步骤可以缓解这一问题。(来源

产生幻觉的原因是什么

  • 模型仅根据统计模式及其训练数据来预测单词。
  • 可能会导致表面上看似合理的虚假主张。
  • 没有对真理的理解,只是词语联想。
  • 传播训练数据中发现的错误信息。
  • 精心策划模型的训练数据。
  • 通过强化学习根据人类反馈进行微调。
  • 设计特定的用例,以最大限度地提高实用性而不是完美。

重新构建期望

  • 模型总是会产生某种程度的幻觉。
  • 目标是平衡效用和危害,而不是完美。
  • 可以通过激发意想不到的联想来激发创造力。

所有主要的人工智能语言模型都会遭受幻觉的困扰,但更好的训练数据等步骤可以减少虚假声明。该缺陷可能是不可避免的,但可以控制。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK