百度称文心一言完全自主研发 并解读其背后技术原理
source link: https://www.chinaz.com/2023/0417/1515904.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
百度称文心一言完全自主研发 并解读其背后技术原理
2023-04-17 08:06 · 稿源：站长之家
站长之家（ChinaZ.com）4月17日 消息:近日，百度CTO王海峰在《中国经济大讲堂》节目上表示，文心一言完全是百度自主研发的大语言模型。百度早在2019年就发布文心大模型ERNIE1.0，经过近4年研发和迭代，文心大模型已经形成了产业级知识增强大模型技术体系，包括自然语言处理、视觉、跨模态、生物计算、行业大模型，以及支撑大模型应用的工具平台，蕴含了大量百度自主创新、并且在大规模产业应用中得到验证的技术。其中有些关键技术已申请专利或者发表论文，还有一些相关技术也已开源开放。
关于 “文心一言”名字由来，王海峰表示，“文”是语言文字，“心”是用心理解，“文心”指致力于理解和运用语言文字的自然语言理解模型，同时也呼应了《文心雕龙》，寓意用雕缕龙纹一样精细的功夫去研究语言文字的内涵和魅力;“一言”既有“一言为定、一言九鼎”的寓意，也有对人机之间“你一言我一语”流畅沟通的殷切期盼。文心“一言”既出，即可“一生二、二生三、三生万言”。
同时，王海峰以老师教学生为例，解读了大语言模型背后的技术原理。预训练大模型像博览群书的学生，记住了很多知识，但需要老师来指导如何运用，而有监督精调就是老师在教学生，将提炼出来的知识要点、典型范例等教给模型，让它知道该如何符合人类规范、习惯和价值观，去执行相应动作，生成相应内容。
文心一言训练了奖励模型，为每次输出的结果打分并给到反馈，进行强化学习，随着真实用户的反馈越来越多，文心一言的效果会越来越好，能力越来越强。
此外，文心一言还融合了不同类型数据和知识，自动构造提示，包括实例、提纲、规范、知识点和思维链等，提供了丰富的参考信息，激发模型相关知识，生成高质量结果。
王海峰最后表示，未来，文心一言这类大语言模型会成为一个通用的赋能平台，金融、能源、媒体、政务等各行各业，都可以基于文心一言实现智能化变革，提高效率，创造巨大的商业价值。
（举报）
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK