“百模”赛事正酣 路径演变多端_要闻_科技频道首页_财经网 - CAIJING.COM.CN

“百模”赛事正酣 路径演变多端

21世纪经济报道记者李强 北京报道

过去的三个月里，大模型如雨后春笋般涌现。根据《中国人工智能大模型地图研究报告》不完全统计，目前国内已经发布了79个参数规模在10亿以上的大模型，可以说“百模大战”已经开始了。

行业沸腾的背后，各家模型实力究竟如何？大模型技术未来将会如何演进？它会为我们的生活带来哪些改变？近日，在21世纪经济报道举办的“21科技峰会·潮起AIGC：大模型崛起”闭门研讨会上，多位业内专家、企业代表围绕技术演进、应用创新以及行业监管等方向进行了深入讨论。

对于此轮AI技术的爆发，中国信通院云大所内容科技部副主任刘硕认为，以大模型为代表的深层次AI技术，目前应用场景还比较局限，结合相关企业进展来看，行业总体上仍然处于发展的早期阶段。关于AI技术可能存在的一些误判，在于长期内低估以及短期内高估。

一方面，大模型技术潜力在业界已经有了相当充足的论证，未来在产业技术革新上的推动价值不能忽视。另一方面，大量企业机构一窝蜂地投入到大模型研发上，也可能会产生挤占其它需要长期探索的技术所需资源的问题。

算力成“绕不开”的门槛

2018年6月，OpenAI发布了GPT-1，至目前迭代到GPT-4，是当前最为强大的语言模型，在GPT-1发布两个月后，谷歌发布了BERT模型，在参数量上，3亿的BERT远超1.2亿的GPT-1。

此后，Facebook（Meta）、百度等国内外研究团队也随之跟进，纷纷加入大模型研发的队伍中，大语言模型的时代大幕也正式揭开。

在此背景下，大模型参数量开始指数级增长：2019年2月发布的GPT-2参数量增长至15亿；2020年5月发布GPT-3参数量更是飙升至1750亿。直至今日，GPT-3不仅能够生成流畅自然的文本，还能完成问答、翻译、创作小说等一系列NLP（自然语言处理）任务，甚至能进行简单的算术运算。

参数规模狂飙的同时，AI的算力需求也在飞速增长。简单来说，大模型算力需求主要分布在训练和推理两个环节，其中训练算力占据大头，根据OpenAI的公开数据，ChatGPT训练算力消耗达到3640PF-days，也就是说按照每秒计算一千万亿次的速度，需要计算3640天。

以英伟达针对AI训练提供的DGX A100系统为例，该服务器包含8张A100芯片并可提供5PetaFLOP的算力。微软在2019年与OpenAI达成合作关系后，其为OpenAI构建的AI超级计算机配备了上万张A100芯片。

在供不应求的情况下，目前单张A100芯片售价就已经达到近10万元，在大模型训练环节，仅芯片这一项硬件投资规模就达到10亿元。

尽管诸多行业玩家尝试以更小的参数量的模型追平ChatGPT，但业界公认只有千亿参数规模以上的大模型，才可能“涌现”出大模型独有的泛化能力。

多位与会嘉宾也在会上表示了认同，算力成为大模型竞赛中几乎无法绕开的门槛。

“对于打造大模型，我们说从0分到60分很简单，60分到80分也没那么难。但是从80分到90分，甚至再往前走的时候，投入就会非常巨大，如果要对标GPT-4这类模型，对算力、调优、部署以及团队的工程经验等一系列环节，都提出了极高的要求。”中兴通讯首席发展官崔丽表示。

未来如何演进

多位与会嘉宾共同认为，更大参数、更多模态仍然会是未来大模型技术的重要进化方向。

目前，ChatGPT属于NLP领域的单模态模型，尽管擅长理解和生成文本，但不支持从文本生成图片、音频、视频等功能，升级至GPT-4之后，开始转向多模态，支持输入图像或文本后生成文本。另一边，在视觉创作领域掀起革命的模型，也仅支持文到图的单一跨模态功能。因此，打通各种模态能力，实现任意模态之间转化，成为大模型的未来发展的重要方向。

在AI技术爆发的过程中，另一个不容忽视的趋势是，GPT-4等顶尖模型都在走向封闭。

而在崔丽看来，未来大模型发展路线上将会是开源和闭源并存，OpenAI在自身发展到一定阶段后，出于某些考量选择了闭源，但这不意味着未来大模型会完全走向封闭，值得注意的是，以Meta、Hugging Face为代表的开源势力也同样在不断壮大与飞速进步。

“一方面，OpenAI等企业会继续向着通用人工智能的方向努力，延承‘暴力美学’，做更大的模型、更多的参数、更多的模态，探索大模型的天花板，另一个方向是针对GPT-4的黑盒去倒推，虽然像开源模型这些开放资源，目前的效果可能会差一些，但在大幅度降低大模型技术的参与门槛后，探索垂直场景下GPT-4能力复现也很值得尝试。”崔丽分析指出。

今年2月底，Meta开源了参数量从70亿到650亿不等的LLaMA系列大模型，迅速点燃开源社区的创新热情，斯坦福大学、加州大学伯克利分校等机构陆续推出了Alpaca、Vicuna等多个开源大模型，开源社区内迅速聚集起“羊驼”生态。

“虽然目前以GPT-4为代表的闭源模型目前处于领先，但在垂直场景等方面，迭代更快、成本更低的开源模型也完全有机会做出优势。”崔丽分析表示。

寻找商业闭环

“我们回看IT时代，CPU刚出来的时候，大家都觉得这个东西计算能力很强，于是想着把各种业务问题转换成计算问题，到今天AIGC涌现，所以我们看大家都在想办法把实际业务问题变成一个chat问题。”有参会嘉宾表示。

亚马逊云科技资深解决方案架构师经理、数据分析专家郭立表达了同样的观点，“在一些基础的UI设计以及代码工作中，已经能够看到大模型展现出很强的可替代性，我们只需把需求要告诉ChatGPT，它就能够输出高质量代码等内容，这就让未来的工作方式变成了怎样去精准定义问题，从招聘角度有可能未来演变成公司倾向于招一个能够把事情讲清楚的员工。”

与此同时，大模型对于内容的理解，使得在涉及处理海量信息的问题上，AI应用的想象空间也在极速扩容。尽管在降本增效的方向上，新能力涌现的AI并不缺少落地场景，但多位与会嘉宾共同指出，构建商业闭环仍然是AI技术落地的核心。

云从科技数据研究院院长姜迅认为，AIGC带来的是范式的变化，“过去每一个任务都需要做单独训练，尽管能看到各行各业对于AI技术旺盛的需求，有时候会有一些非常细碎的场景，比如检验螺丝钉有没有裂纹等等，由于这些场景对于单个用户在前期阶段很难覆盖研发成本，这导致这些场景想要建立正向的商业循环是比较困难的。”也有与会嘉宾将此形容为“为了喝一口水，挖了一口井”。

“预训练大模型其实很好地解决了这个问题，预训练模型在大规模无标签数据上进行一次训练后，可以在多个具体任务上进行指令微调。这使得预训练模型能够在不同领域和任务中实现迅速的迁移和泛化，减少了在小样本数据下过拟合的风险。我们确定了基础模型以后，只需要在这个基础上加入新的知识，原有投入训练成本得到了保护，对于整个社会的算力资源也是一种保护。”姜迅在会上表示。

华为昇思MindSpore营销总监戴金伟在会上表示：“以往传统行业在使用AI的过程中，碰到了许多实际困难，尤其是场景过于定制化而无法批量应用，因为以往这些场景的AI做法普遍采用的是小模型，小模型由于它的参数量小，就导致它的表达能力不足，另外为了训练它达到更高的精度，对于数据的质量要求也更高，需要高质量的训练样本，还需要主动为它构建负样本。最终精度调上去了，哪天换了个模具或场景，精度又掉下来了，因为泛化性不足，这些都是小模型的局限性带来的。昇思AI框架提前就实现了原生支持大模型的能力，随着通用性、泛化性的增强，大模型就可以具备批量复制的能力，这样就能摊薄成本，提升商业价值，完成商业正循环，从而打破当前AI在传统行业应用困难的这种困境。”

“百模大战”

随着各个领域的大模型涌现，与会嘉宾们也分享了诸多关于“百模大战”的思考。

尽管在GPT-3以前的版本中，Open AI选择了开源，模型的基本结构都已经通过论文等方式公开，但各厂商由于在工程实践方面的差距，包括在数据的清洗、标注以及模型的微调、训练方法等方面，仍需要长时间的研发投入和经验积累。如何判断各家的技术优劣以及与头部模型的差距？

有与会嘉宾指出，相比于更加权威的专业测试题库，支撑各个厂家“通用领域追平ChatGPT、垂直领域反超GPT-4”说法的数据样本远远不足。

“比如GPT-3在论文里公布了TriviaQA的测试结果，TriviaQA里面包含六十多万道不同领域的题目，对于这样一些值得参考的成绩，我们目前却没有看到其它厂商们公布自家模型的相关测试结果，如果仅凭一些单点测试，其实没有办法判断与OpenAI之间真实的差距。”上述与会嘉宾表示。

另一位智能驾驶行业的与会嘉宾则分享了垂直行业对大模型技术的思考，“在每一个行业的应用场景里，都会积累很多技术秘密，这个过程中沉淀下来的东西就已经可以进行高中低频的分析。中高频需求其实是相对固定的，通过适当的裁剪让大模型更好的解决实际问题，是一个比较可行的路径。比如我们认为语音可能取代按键成为未来人车交互的主流方式，而出行场景中的语音交互最需要的是快速高效响应，在本地化部署的过程中，我们的思路也是通过蒸馏和裁剪大模型，牺牲部分推理能力以换取更好的理解能力。”

在与会嘉宾们看来，未来更加关注实现某种功能的最低算力需求是多少，以及在硬件范围内能够提供哪些能力？同时也会加强边缘侧和端侧的计算水平。

监管如何引导

另一方面，在全球范围内，各经济体也在逐步重视对AIGC的监管力度，其中也不乏企业与监管间的冲突。

欧盟在5月11日通过《AI法案》提案的谈判授权草案，禁止“对人类安全造成不可接受风险的AI系统”，并要求AI公司对其算法保持人为控制，提供技术文件，且为高风险应用建立风险管理系统。

而作为此轮技术革命的领头羊，OpenAI CEO Sam Altman却在近日公开表示，如果无法遵守欧盟即将出台的AI法规，该公司可能会考虑退出欧洲市场，“目前的欧盟AI法案草案将会造成过度监管的情况，但我们听说它将回调。”

在预防技术风险之外，也有业内观点指出，此轮AI产业仍处在发展初期，不应该追求零风险而牺牲发展效率。APUS高级技术总监朱传奇则联想到2018年欧盟出台的GDPR（《通用数据保护条例》），有统计数据显示受GDPR影响的公司平均预计利润下降8.1%，对于中小企业来说，既要面临合规成本问题，还要在与大企业的竞争劣势下做创新，受到影响更加明显，如何在监管中照顾到中小企业发展是未来非常值得思考的问题。

一直以来，国内应用层创新更加活跃已成业内共识。刘硕却注意到，以GPT为代表的大模型出来以后，国外的AIGC应用层出不穷，国内由于缺乏相对成熟的接口产品以及监管层面的原因，反倒要落后一些。

“我们应该从工具视角去看待AI，技术落地应用时，大厂的价值观就非常重要，因为它有更多的资源、技术和先发优势，在这种情况下可以建立一些相对严格的规则去引导行业有序发展。相比之下，对于中小企业可以提供更加宽松的监管环境，会让行业发展创新变得更加多元和富有生命力。”崔丽表示。

业内对于AI监管也有诸多讨论。3月29日，图灵奖得主Yoshua Bengio、马斯克等人联名发表公开信，呼吁所有AI实验室立即暂停训练比GPT-4更强大的AI系统，为期至少6个月，以确保人类能够有效管理其风险。

这也引来Meta首席人工智能科学家杨立昆等行业大牛的批评，并将AI威胁论视为蒙昧主义。

“由于过往对于技术进步的预期往往是线性的，当GPT-4以指数级成长的速度出现时，让几乎所有人都始料不及，”与会嘉宾谈到，“AI总有一天会超过人类的认知和智慧，到那时对人类生存就必然构成潜在威胁，举个可能不太恰当的例子，当机器人觉得生锈是一件很讨厌的事情，于是决定把空气里的氧气抽干净，人类肯定不能接受，因此将机器和人类的价值观对齐，一直是一项艰难且极其重要的研究课题。”