商汤与上海AI实验室等发布“书生通用大模型体系”
source link: https://www.chinaz.com/2023/0707/1540920.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
商汤与上海AI实验室等发布“书生通用大模型体系”
2023-07-07 08:04 · 稿源：站长之家
站长之家（ChinaZ.com）7月7日 消息:在昨日的第六届世界人工智能大会上，商汤科技与上海人工智能实验室联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的“书生通用大模型体系”，包括:“书生·多模态”、“书生·浦语”和“书生·天际”三大基础模型，以及首个面向大模型研发与应用的全链条开源体系。
其中，“书生·多模态”大模型无缝整合了语言、图像、视频等多种模态，包含200亿参数，使用80亿多模态样本训练。
“书生·多模态”首次实现通过自然语言定义视觉任务，实现开放世界理解，支持多模态生成和跨模态交互，并支持350万语义标签的识别和理解，覆盖开放世界常见的类别和概念。目前，书生体系在80多种多模态和视觉评测任务中性能领先。
升级后的 “书生·浦语”是国内首个正式发布的支持8K语境长度的千亿参数级语言大模型，在包含1.8万亿token的高质量语料上训练而成。
在全面升级同时，书生·浦语还正式开源一个70亿参数的轻量级版本InternLM-7B。InternLM-7B在包含40个评测集的全维度评测中性能表现卓越、均衡，全面领先现有开源模型。特别在两个被广泛采用的基准MMLU和CEval上分别取得50.8和52.8高分，刷新了7B量级模型世界纪录。
此外，书生·浦语还开源了贯穿数据、预训练、微调、部署和评测五大环节的全链条工具体系。
（https://github.com/InternLM）
（举报）
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK