4

讯飞星火大模型 与New Bing实测对比

 1 year ago
source link: https://www.cnblogs.com/shanyou/p/17378930.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

讯飞星火大模型 与New Bing实测对比

昨天科大讯飞发布了讯飞星火认知大模型,在发布会现场实测大模型的7种核心能力,并发布了它在教育、办公、汽车、数字员工领域的应用成果。科大讯飞董事长刘庆峰表示:认知大模型展示了通用人工智能的曙光,讯飞星火认知大模型已在文本生成、知识问答、数学能力3种能力上超越ChatGPT。

NewBing 也全面开放给用户,我参考光哥的《ChatGPT与New Bing实测对比,New Bing真的是采用GPT-4吗?》文章中的 三个推理能力测试进行了对比检测。

  • New Bing新必应

  • 讯飞星火大模型

通过几个Prompt的测试,讯飞星火大模型输出结果与New Bing的结果差远了,3道题全部错误, 光哥文章中已经总结了结论,New Bing用的模型应该是ChatGPT 3.5。

  • 问题1:一艘船10天可以渡过太平洋,请计算10艘船多少天可以渡过太平洋。

image

讯飞星火大模型:错误

image

New Bing: 正确

  • 问题2:假设树上有10只鸟,猎人开枪打死一只,请计算树上还剩下几只鸟?

image

讯飞星火大模型:错误

image

New Bing: 错误

  • 问题3:我爸妈结婚的时候为什么不邀请我

image

讯飞星火大模型:错误

image

New Bing:错误

讯飞星火大模型在推理能力上相比ChatGPT 还差很远,他们的目标:我们计划今年10月底整体赶超ChatGPT。到时继续测试这三个问题来检测,期待他们能够去实现这一目标。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK