复旦MOSS团队：MOSS参数规模约为ChatGPT的十分之一
source link: https://www.chinaz.com/2023/0302/1501707.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
复旦MOSS团队：MOSS参数规模约为ChatGPT的十分之一
2023-03-02 10:39 · 稿源：站长之家
站长之家（ChinaZ.com）3月2日 消息:据澎湃新闻报道，针对MOSS与ChatGPT的差异，复旦大学计算机科学技术学院邱锡鹏表示，ChatGPT的参数量多达1750亿个，而MOSS大约是前者的1/10左右。
邱锡鹏解释称，选择百亿规模这样级别的参数，是因为学术界主要是做一些探索性的技术，这个规模也在财力物力承受范围之内。实验结果证实了我们的猜想，MOSS模型可以非常顺利地与人类进行聊天互动。
2月20日，复旦大学自然语言处理实验室发布了国内第一个对话式大型语言模型MOSS（moss.fastnlp.top/#/），并通过邀请码进行内测。
复旦大学自然语言处理实验室称，MOSS只是想在百亿规模参数上探索和验证chatGPT的技术路线，并且实现各种对话能力。MOSS还是一个非常不成熟的模型，距离ChatGPT还有很长的路需要走。由于训练数据中的多语言语料库有限，MOSS 在理解和生成非英语文本方面表现不佳。目前正在开发一个改进版本，以提高其中文语言能力。
邱锡鹏表示，如果优化顺利，计划在三月底开源MOSS。
（举报）
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK