7

大模型创新中心落户上海!助推AI框架生态共建进入加速道

 1 year ago
source link: https://www.qbitai.com/2023/06/61940.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

大模型创新中心落户上海!助推AI框架生态共建进入加速道

head.jpg明敏 2023-06-16 17:31:28 来源:量子位

以AI框架生态为中心,让产业“朋友圈”更牢固

明敏 发自 凹非寺

量子位 | 公众号 QbitAI

大模型时代一来,AI框架扮演的角色愈加重要。

行业深谙此理,于是人工智能框架生态峰会2023为此召开。

参会的成员都是产学研界耳熟能详的名字:上海人工智能研究院、中国科学院自动化研究所、上海白玉兰开源开放研究院、OpenI启智社区、华为、昇思MindSpore……

他们齐聚上海的目的只有一个,共建人工智能框架生态,将中国人工智能产业推向一个新阶段。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

具体的动作有:

  • 联合启动上海昇思AI框架&大模型创新中心,已入驻20+单位
  • 发布“共建人工智能框架生态,繁荣中国人工智能产业”联合倡议
  • 成立昇思MindSpore开源社区理事会

总之,是要以AI框架生态为中心,让产业“朋友圈”更牢固。

为什么以AI框架生态为核心?

想要回答这一问题,要从AI框架的定位和重要性说起。

一直以来,AI框架被视为AI发展中基建一般的存在

纵向角度,AI框架在AI全栈体系中处于承上启下的位置,承担着AI技术生态中操作系统的角色,对于AI软件生态构建非常关键。

横向角度,AI框架是AI学术创新与产业商业化的重要基础软件,对人工智能从理论走向实践、快速进入场景化应用时代,有着非常重要的意义。

对于开发者而言,它能提升开发能效、简化开发流程,同时还提供丰富的功能和工具,加速AI应用创新和推广。

随着大模型趋势席卷而来,AI领域内的开发创新工作更加如火如荼,那么AI框架作为核心开发工具,就显得尤为重要。

它的底层能力、功能丰富度、生态完善度,都会影响开发效率,进而影响新技术和应用创新的速度。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

在这几方面中,生态构建又显得格外重要。因为它将直接影响框架的能力、功能、以及产业化应用等。

而AI框架生态的发展,离不开政产学研用各界伙伴的大力支持。

一方面需要高校、科研机构合作,探索人工智能行业前沿方向,丰富算子和模型,培养AI人才的同时持续丰富技术生态。

另一方面也需要与商业伙伴合作,将人工智能技术广泛应用到千行百业,推进全球智能化的发展。

由此也就不难理解,为什么要召开人工智能框架生态峰会,并且围绕中国AI框架领军代表昇思MindSpore,开展一系列生态共建。

如成立昇思MindSpore开源社区理事会(下文简称昇思社区理事会),目标就是面向产业、商业、生态等各方向吸纳对社区有贡献、有潜力的企业,通过理事会加强核心伙伴粘性,助力伙伴商业生态成功。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

启动上海昇思AI框架&大模型创新中心,则是抓住大模型趋势,快速拉起一个产业“朋友圈”,共同推动国内大模型趋势创新不断涌现。

当然,行业内会如此重视AI框架生态,除了其身位特殊之外,更直接的原因或许还是因为,多年来AI框架生态的建设已经为产业发展带来了切实好处。

昇思MindSpore正是代表之一。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

昇思MindSpore为构建生态做了哪些事?

昇思MindSpore是华为在2020年开源的全场景AI框架。

昇思MindSpore在技术层面,基于当下产业的需求和挑战,提出了自动并行、动静态图结合、二阶优化、全场景部署、全栈协同加速几大关键特性。

比如自动并行可以降低切分数据、切分模型等技术问题门槛,提升开发能力和效率;全场景协同支持智能匹配端边云多样设备;面向系统软硬件co-design能让昇思MindSpore做到整图完整卸载,达到与通用GPU硬件对比的程度……

由此,昇思MindSpore即便没有老牌AI框架的先发优势,但在解决超大规模模型训练、AI for Science等产业实际问题上,已经占据领先身位。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

具体技术架构上,昇思MindSpore共分为四层,分别是:

  • 模型层:提供开箱即用的功能,主要包含预置的模型和开发套件,以及图神经网络、深度概率编程、科学计算库等拓展库;
  • 表达层(MindExpression):提供模型开发、训练、推理的API接口,支持用原生Python语法开发和调试神经网络,特有的动静态图统一能力可以兼顾开发效率和执行性能两方面需求,同时在生产和部署阶段提供全场景统一的C++/Python接口;
  • 编译优化(MindCompiler):这部分是AI框架的核心,以全场景统一中间表达(MindIR)为媒介,将前端表达编译成执行效率更高的底层语言,同时进行全局性能优化,包括自动微分、代数化简等硬件无关优化,以及图算融合、算子生成等硬件相关优化;
  • 运行时,按照上层编译优化的结果对接并调用底层硬件算子,同时通过“端-边-云”统一的运行时架构,支持包括联邦学习在内的“端-边-云”AI协同。

如今,基于昇思MindSpore的技术成果也相继涌现。

比如今天刚刚正式对外发布的紫东.太初2.0。

它由中科院自动化所牵头,基于AI框架昇思MindSpore打造。

作为业界领先的全模态大模型,紫东.太初2.0可实现文本、图片、语音、视频、3D点云、传感信号等不同模态的统一表征和学习。其3.8B模型已经在昇思MindSpore社区开源。

此外还有武汉.LuoJia、鹏程.神农等产学研界成果,都是以昇思MindSpore为底座。据悉,共有400+模型、900+顶会论文基于昇思MindSpore技术生态实现。

由此可以看到,昇思MindSpore作为AI框架,不仅链接南北向生态,同时也已构建出一个贯穿产学研的生态圈。

通过不断完善、繁荣自身生态圈,昇思MindSpore不仅成长为国内最活跃的开源社区之一,还更进一步助推产业技术创新、人才培养、应用落地。

具体可以从技术生态、开源生态和行业生态几个方面看起。

大模型创新中心落户上海!助推AI框架生态共建进入加速道

技术生态方面,除了如上提到的算法模型方面的成绩,昇思打造了大模型开源生态。

昇思大模型平台,向全球百万开发者提供了包括紫东.太初、鹏程.神农、武汉.LuoJia等大模型能力。

该平台集大模型在线推理、算法选型、创意分享、产学研专区为一体,提供免费课程资源、经典样例代码、企业落地案例、垂直行业专区和多层级挑战赛。

开源生态方面,2022年,中国信息通信研究院发布《AI框架发展白皮书》,指出昇思MindSpore作为国内优质AI框架代表,在Gitee千万个开源项目中综合排名第一,已是国内开源社区最活跃的AI框架

目前共计有13000+名核心开发者在昇思MindSpore社区做出贡献。

昇思在海内外30个地区成立本地研究小组MindSpore Study Group(简称MSG),开展MSG企业行、MSG高校行、MSG行研会等线上线下活动。

同时,昇思还加入Hugging Face社区,赋能全球开发者;每半年举办一次MindCon极客周,目前已引导3万+开发者参与社区贡献;开展从入门到精通的全场景AI实战线上课程,与290+所高校展开昇思MindSpore教学合作,设置初、中、高级别课程,转型全新开源创新实践课程。

并且已经形成清晰明确的高效开发者成长路径图,转化核心技术贡献者。现已走进290+所高校。

最后在行业生态建设上,昇思MindSpore目前已服务5500家企业,涵盖数字政府、金融、制造、交通、能源、终端等端边云全场景行业。

总之,参考昇思MindSpore三年以来的发展可以感受到,在当下发展阶段内,一个AI框架能带来的影响早已不局限于提升开发者的效率和能力,通过构建完善的生态圈,AI框架可以作为中心枢纽将人才、技术、资源、应用场景等紧密联结,加速行业内整体的开发效率和能力,以此推动产业向前发展。

AI框架生态该怎么做?

那么,昇思MindSpore的发展,同样也为AI开源框架生态构建提供一定思考。

简单总结有这样2点:

首先是AI框架的自身定位上,昇思遵循了产业导向原则。

在TensorFlow、PyTorch凭借先发优势占据市场主导位置的情况下,新兴的AI框架想要在全球市场中占据一席之地,差异化竞争是关键

脱胎于产业界的昇思,自然从产业界入手,在工业化能力上形成差异化,尽可能满足产业内对开发门槛、运行效率、部署灵活的要求。

同时深入行业洞察趋势,在一些热门领域内形成竞争优势。比如在大模型训练上,昇思已经支持了业界最多的并行模式。

第二,开源开放

昇思MindSpore开源后,提出“立足中国、放眼世界”的目标,基于开放、融合、共享的理念,持续推动构建“南向多芯和北向应用生态”。

南向”为AI芯片算力提供标准化技术生态接口和开发工具,构建自主开源AI框架生态和人工智能算力多芯生态;

北向”为开发者和算法厂商开展技术联创,围绕场景创新重大需求开展联合攻关。

以昇思社区理事会为抓手,在大模型、科学智能等前沿技术领域持续推动创新,构筑面向未来的核心竞争力,提取共性能力,沉淀框架和数据资产。昇思积极支持与南向芯片厂商的适配,目前已经与20+芯片厂商开展适配工作。

此外,他们也是国内第一个采用开放治理架构的AI框架开源社区。

在昇思MindSpore社区,有来自全球18名技术专家组成的技术委员会,他们通过公开的讨论,公开的会议,把控整个社区的技术发展方向。

在技术委员会的指导之下,设立了特殊兴趣小组(Special Interest Group),来负责各个模块的开发;如果需要跨模块协作,则成立对应的工作组。

昇思还基于自身生态内的力量,尽可能协同上下游、联动产学研力量,快速推动社区规模发展。

据公开数据,昇思MindSpore首年下载量就突破了10万,第二年时这一数字已经提升到了102万,现在总下载量已经超过474万。

结合当下趋势来看,ChatGPT引爆大模型趋势后,未来一段时间内行业内将保持高速发展,谁跑得更快、谁就更有优势。

而这种竞速并不只是单纯地拼人才、拼资源,更大程度上还是拼基础设施和生态。

AI框架始终被视为AI领域的根技术,是模型的“土壤”。

如何让这个“土壤”更加肥沃?开源、开放、共建。

《经济日报》发文中也强调了算法开源生态的重要性:要抢占人工智能大模型产业发展制高点,必须加强战略规划和深度治理,推进新型算力生态基础设施建设,打造稳定可靠的算法开源生态。

这也是为什么人工智能框架生态峰会2023要在此时此刻召开,核心目的就是为了吸引、呼吁更多人,一同共建中国AI框架生态。

而在新一轮技术周期的影响和带动下,中国AI框架生态会怎样发展,也值得我们期待。

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK