5
天垓100完成百亿级参数大模型训练
source link: https://www.jiemodui.com/N/136115.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
天垓100完成百亿级参数大模型训练
作者：LAN 发布时间： 2023-06-13 17:00
图源：Pixabay
芥末堆文 6月10日，在第五届智源大会AI系统分论坛上，上海天数智芯半导体有限公司宣布，在天垓100加速卡的算力集群，基于北京智源人工智能研究院70亿参数的Aquila语言基础模型，使用代码数据进行继续训练，稳定运行19天，模型收敛效果符合预期，证明天数智芯有支持百亿级参数大模型训练的能力。
上海天数智芯半导体有限公司是通用GPU高端芯片及超级算力系统提供商。据介绍，在北京市海淀区的支持下，智源研究院、天数智芯与爱特云翔共同合作，联手开展基于自主通用GPU的大模型CodeGen（高效编码）项目，通过中文描述来生成可用的C、Java、Python代码以实现高效编码。
智源研究院负责算法设计、训练框架开发、大模型的训练与调优，天数智芯负责提供天垓100加速卡、构建算力集群及全程技术支持，爱特云翔负责提供算存网基础硬件及智能化运维服务。
图源：天数智芯
据介绍，与国际主流的A100加速卡集群相比，天垓100加速卡集群的收敛效果、训练速度、线性加速比相当，稳定性更优。天数智芯将与合作伙伴们共同建设更大规模的天垓100算力集群，完成更大参数规模的大模型训练，以自主通用GPU产品更好支持国内大模型创新应用。
1、本文是 芥末堆网原创文章，转载可点击 芥末堆内容合作 了解详情，未经授权拒绝一切形式转载，违者必究；
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章，只呈现有价值的内容给读者；
3、如果你也从事教育，并希望被芥末堆报道，请您 填写信息告诉我们。
2、芥末堆不接受通过公关费、车马费等任何形式发布失实文章，只呈现有价值的内容给读者；
3、如果你也从事教育，并希望被芥末堆报道，请您 填写信息告诉我们。
来源： 芥末堆
芥末堆商务合作：010-5726 9867
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK