3

GPT 模型生态掀起内卷,局部应用成破局关键?

 1 year ago
source link: https://www.niutoushe.com/85107
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

GPT 模型生态掀起内卷,局部应用成破局关键?

科技掀起的浪潮显然一次较一次汹涌。

自 AlphaGO 第一次步入大众视野,AI便以令人瞠目的速度发展。直至符合摩尔定律的计算机增长速度跃过门槛,深度学习、算力、大数据把 AI 拱入属于它的时代。象征技术融合的 ChatGPT 带来一夜爆红的必然和全球科技领域又一次艾略特波浪。

微软、谷歌、Meta、百度、阿里、腾讯……全球巨头重金押注,掀起资本和技术为基础的生态竞速。

热度是夸张的,但趋势是必然的。可以预料,未来,一大波中文类 ChatGPT 模型必会爆发。然而,值得探讨的是,这波热度会给哪些领域带来变革?

纵观国内,目前类 ChatGPT 研发的企业布局有四类:

1.以海外技术为基础 

 代表企业:昆仑万维

与 OpenAI 达成合作的企业,例如昆仑万维,将旗下 Opera 浏览器通过访问 OpenAI 的 API 和人工智能模型,在其浏览器接入 ChatGPT 功能。通过地址栏中新设置的 shorten 按钮,用 AI 来生成网页或文章总结、摘要,将成为亮点。

2.以国产技术为基础

代表企业:携程、标普云、数字一百等

主要是以文心一言为生态体系组成的派系分类,目前数量已超 450 家,跨度较广,包含互联网、媒体、金融、汽车、企业服务等领域。百度文心一言是基于百度文心大模型技术推出的生成式对话产品,预计将于 3 月 16 日面世,通过百度智能云对外提供服务。百度将其接入搜索引擎、汽车、语音助手等。

3.具备技术实力的大厂自研

代表企业:百度、阿里、华为、三六零等

拥有学习框架、芯片、模型、数据等实力和资金支撑的国产企业。此前我国主要发力点重心放在大数据,模型方面投入相对较少;同时,一级市场对此类投资金额高但发展较慢的领域较谨慎,所以仅少数互联网大厂参与其中,目前研发阻力较大,发展有限。

4.小而美路线垂直领域

代表企业:奇安信、衔远科技等

正因大数据模型所需资金、算力、数据的高要求,国内出现另类一派,即尝试将自研模型与细分产业融合,实现产业链技术升级、突破。

 AI 大模型带来的改变将会是多维度的,例如改变开发模式、改变工作状态、改变开源方式等。 AI 会使得效能在不断提高下达到应用价值顶峰,而生成式 AI 将会使得差异化定制成本接近于 0 。理论上,差异化产品为竞争力的时代将过去,差异化数据为核心竞争力的时代将要到来,开放 API 接口的盈利模式或将成为主流。

3 月 1 日, OpenAI 宣布开放 API ,允许第三方开发者通过 API 将 ChatGPT 集成至应用程序和服务中。 ChatGPT API 由自然语言大模型“ Turbo ”( GPT-3.5 )支持,定价为 0.002 美元/每 tokens ( token  一种非结构化文本单位  1 个 token 约对应四个英文字符), OpenAI 表示,这一定价较 GPT-3.5 模型便宜 90% 。某种意义上,这种收费模式将会带来更多边际变化,个人构建新产品的能力将会增强。

海外先行,“汉化”生态是否留有余地?垂直领域数据资源是否为小企业提供市场机遇? API 接口收费方式是否意味该工具将划入 SaaS 服务模式?带着疑问,牛透社对目前国内 ChatGPT 模型现状进行翻阅,并试图结合海外资料获知答案。

现状:入局成本过高 大厂交叉卡位

AI 模型竞争进入白热化,投资金额、 GPU 算力和高质量数据成为企业下一步比拼关键。

在 ChatGPT 大模型的迭代中, OpenAI 的 GPT 、 GPT-2 和 GPT-3 的参数量从 1.17 亿 增加到 1750 亿,预训练数据量从 5 GB 增加到 45 TB ;训练 GPT-3.5 模型的 AI 计算系统中,包含了 1 万个由 V100GPU 构成的高性能网络集群,总算力大约 3640 PF-days 。(以每秒计算一千万亿次来假设,完成总算力需要计算 3640 天。)

算力成本、数据库更新频率、数据广度及深度提升是推动以 ChatGPT 为代表的 AI 大模型迭代的重要因素。一般情况来说,数据与模型准确度成正比。数据维度和参数量越多,模型就越复杂,准确率和算力指数需求也就越高。

“中国在技术上还是有差距的。第一是基础模型本身差距,虽然我们训练了很多万亿模型或者几千亿的模型,但训练的充分程度,是远远不够的。”华为诺亚方舟实验室语音语义首席科学家刘群坦承,“我估计到现在为止,没有哪个模型能吃 GPT 那么多数据。”

从 GPT-3 后, OpenAI 的模型都没有选择开源,而是提供 API 调用,这种方式建立起了用户调用和模型迭代的飞轮,也同时建立起了一个生态。

不得不说,建立“汉化”生态,实打实用数据来推动模型迭代,这项任务对我国研发 ChatGPT 语言模型的企业来说难度是极大的。它不仅需要企业拥有强研发能力,同时还需要大量数据作为底衬。

e5fad6a4-5d69-4e6c-8f06-8628ef02667f.png

据牛透社不完全统计,截至 2 月 28 日,目前我国类 ChatGPT 语言模型下场研发机构共 14 家,由大厂、科技企业、高校科研机构组成。不论单拎哪家出来,均为我国财力、研发能力数一数二的企业。其中百度、阿里、腾讯、华为、京东、快手等都拥有自身学习框架、芯片和 AI 大模型,在此次博弈中被广泛关注着。

百度:文心大模型可进行文本生成、内容提取、摘要生成、观点归纳等,百度计划同时推出 To B 和 To C 的产品,预先发布 To C demo 。

阿里、京东等:在智能客服及 AI 营销有布局。阿里可结合商品自动生成文案描述商品,提升营销效率;京东大数据平台覆盖从用户到售后的电商全产业链数据,包含用户从浏览、下单、配送到客服的完整过程,在电商领域数据保有量较高。

腾讯:以广告为主,支持广告智能制作,以 AIGC 技术生产广告文案或视频。前期作为 UGC 和 PGC 的辅助,帮助广告主设计文案。

科大讯飞: AI 训练模型占据教育和医疗双领域领军地位,保有大量题库、成绩单、病例等专业数据来支撑自身 AI 布局,形成专用领域数据闭环能力。

数据层面,以百度、三六零 、科大讯飞为代表的国内厂商在储存上占据优势,百度和三六零同时具备 CommonCrawl ( filtered )的数据。例如对标 Reddit 的百度知道和 360 回答;对标维基百科的百度百科和 360 百科。巨量数据存于身,具备模型训练和迭代的核心实力。

不置可否,百度在这场拉锯战里声势浩大。截至 2 月末,百度文心一言生态已有 450 余家企业接入合作,覆盖范围包含媒体、工业、金融、企业服务等诸多领域。出于好奇,牛透社对文心一言生态中的企业服务类含量进行了盘点。

038da0eb-7a0c-460c-b02a-ba115912abd6.png

经不完全统计,截止目前,百度“文心一言”企服领域首批生态合作企业共 61 家。其中致远互联、宇信科技、金蝶云、携程等企业均拥有丰富企业应用场景及实践经验

相对来说,即使是国内头部企业,从算力上与海外也是差距明显的,并且互联网数据质量上相比英文也具有明显差距。算力尚可以用投入资金方式弥补,但数据不佳则是模型训练大忌。下一步,或许入局大厂该重点思考如何来补足数据质量上的短板。

有业内人士透露,目前百度与字节在算力、数据上的投入都很大。不过在人力投入上,百度整体投入会更大些,因为搜索是它的核心业务场景,它把 AIGC 作为发展浪潮来追赶的。而腾讯和阿里,主要关注点在于技术和业务的结合,实现业务发展,所以发力点主要放在 AI + 营销等方面。

 ChatGPT 可使用范围的限制在某种程度上为国内企业研发产品提供出时间和机会,但就当下实际情况来看,超越 ChatGPT 的可能性较小。短期内,“汉化”产品将成为机遇,最大可能性是国内企业快速发布与之贴近的产品,缩小能力代差。

“你看我们国内的大模型研究,是 A 公司训练一个, B 公司也训练一个,打个广告就完了,模型开源,你爱用不用。至少目前还没看到一家比较好的公司,把数据和模型飞轮完整转起来,所以,我觉得这是我们赶超 ChatGPT 的难点。”一位业内人士坦言。

趋势:基础模型与垂直开发相结合

围绕业务,从局部应用开始超越是目前业内共识。

当新技术出现,我国的惯例是优先思考如何有效落地。目前制约这项技术最重要的两个方面是成本和使用局限性。借鉴海外经验,这项技术一般涉及两项成本,即开发成本和使用成本。根据 appen 数据,仅 GPT-3 便已使用 3000 亿单词、超 40T 的大规模高质量数据进行训练,单次训练成本高达 460 万美元, GPT-3 训练总成本大约 1200 万美元。这对大多数企业来说,开发成本实属过高。另外,在企业应用时涉及使用成本,根据用户使用的并发数不同,成本也会浮动。依旧借鉴海外经验, ChatGPT 单论对话平均费用在 0.01 美元到 0.2 美元之间。

而技术局限就在于模型依赖于存储数据而非实时数据。它无法根据网络最新出现的数据来使自己回答得更精确。举个例子, 2006 年时冥王星被提出九大行星之列,降级矮行星。如果模型使用训练数据截至在 2005 年,那么由于没能和实时数据库进行信息连接,它的回答便会非常不准确。

“如果我们不做 GPT-3 这种‘万金油’式的生成式 AI ,那么我们就可以把它的认知领域缩小到更窄范围,但同时深度大大加深。”周伯文观点明确。

 ChatGPT 方向生态合作模式当下主要分为两种:

1.根据调用次数或授权数量向使用者开放 API 或 SDK 的 SaaS 服务

2.将技术工具化向 B 端提供图表处理、资料检索等服务;

而我国数据层面存在特殊性,即医疗、司法等特定领域数据比较稀缺,因此或许会生成模型与厂商合作的商业模式。大公司训练基础模型,小公司在此基础上训练特定领域的数据集,再利用这种适配性较高的模型完成自身商业计划。

“第一,大模型的训练参数能够减小至少一个数量级,但对领域的深度理解反而超过GPT模型;第二,减少模型参数之后,训练成本也会大大压缩,训练一次甚至能够从几百万美元减少到几十万美元。一旦模型参数和训练成本下降之后,那么我们就可以用更低的成本在特定领域对模型进行大量训练。此时那些通用大模型要想在这方面追赶也就很难了。”周伯文已预见到“互补模式”的可能。

不过,数据清洗不到位、训练师引导偏好都会导致训练模型局限性,使得模型向着人类认知对齐。只要克服这些制约,模型可商用化场景便会大大增加。能够承担使用成本的垂直领域是最有希望率先落地的,当应用落地便会产生大量交互数据,迭代训练模型。并且,由于“ Know-how ”的存在,往往是创业公司或垂直领域企业最早找到可商用范围。

123937f6-ef07-4c3d-ae0c-93d058ca6ce4.png

据牛透社不完全统计,目前国内垂直赛道共有 9 家企业进行布局,有 7 家属于企业服务范畴,分别为奇安信、蓝色光标、涂鸦智能、竹间智能、悦商集团、极光闪达、衔远科技,涉及网安、虚拟人、 NLP 、在线传输等领域。以发展前景分析,过去常谈及的AI商业化或将预先在垂类实现。

从中短期来看,目前的产业生态不会出现颠覆,运营成本和商业模式的模糊会给垂直领域留出空间,给除大厂外的企业带来发展机会。

 ChatGPT 的定位不是研发人员,而是大量基础人群,因此,更稳固的 To B 模式会更受国内外研发企业青睐。并且 ChatGPT 作为 NLP 基础模型,信息抽取、机器翻译、多轮对话方面会出现突破,预计在电商等人力语言交互需求较大的领域会出现较大发展。

“下一步,自然语言处理技术应更加注重面向企业端,为企业的经营决策、生产管理、降本提效、开拓市场、资产管理等提供服务,以更好的商业变现。” 第四范式联合创始人陈雨强表示。

脑洞:类 ChatGPT 模型是人机交互接口?

当下可供人机交互的设备主要是键盘、鼠标、模式识别设备等外设装置。由于人类种族、学历、思维方式上的差异,人机交互往往难达预期。而 ChatGPT 则相当于通用型交互接口,能够将人类语言进行解译传输给机器。

此前关于脑机接口的采访中,马斯克提过一个有趣的观点。

“人和机器的交互速度太慢了,特别是输出部分,也就每秒输入 100bit 不到的数据,很给人类面子的说法。基本上机器之间的信息交换速率是百万倍以上的。机器和人交流,就像你和一个大树交流,对于机器来说,太无聊,你愿意和树说话吗?不好玩。”

计算机目前信息传播带宽已经足够大,而在云技术支持下,储存量也在无上限增长。机器所欠缺的主要是独自思考及逻辑推理能力。关于交互上的带宽瓶颈如今落在人类身上,继续提升效率便要增大人类带宽阈值。

私以为,人机传输效率突破点有三:

1.提升人类输入输出数据的带宽;

2.将人脑与机器相连接(脑机接口);

3.提升设备类人化特质,增强机器逻辑能力及感知力。

类 ChatGPT 模型提升的是 HCI 阈值,即人与计算机之间使用某种对话语言,以一定的交互方式,为完成确定任务的人与机器之间的信息交换过程。同时,它还是人机交互接口,在多种人机交互场景下都能提供作用。

 GPT 的出现正在迅速推动数字化劳动力演变,而劳动数字化转变的核心在于机器的“大脑”和认知思维能否准确理解人类,能否精准完成任务。当 GPT人类反馈强化学习足够深刻,便可以拓展边界,让机器认知无限接近人类水平。用工模式在全职、外包、兼职外,还会出现第四种数字化用工,人机边界也会被打破,用工模式将会快速演变,几乎所有场景都有商业化可操作性。

写在最后

从应用角度考虑,我们要让模型精通单领域知识,进行技能定制化。这就涉及更多数据采集、清洗、训练的成本投入。不过,这种花费是一次性的,更多成本将会出现在使用、数据调度等方面。随着老龄化人口及人力成本提升,技术成本最终会低于人力成本,新型 To B 服务模式会成为更多企业优先选择。

目前由于技术成熟度不足,市场尚未出现可大规模使用场景,未来依然有可能被出现的新技术风口所替代。但从目前商业环境变化,以及搜索引擎大厂的梭哈投入来分析, GPT 仍然拥有较大沿用可能。

主要参考文献/研报:

1.《文心一言:技术与能力拆解》,华泰证券

2.《 AI 生成内容产业展望报告》,量子位

3.《 2022 年人工智能生成内容( AIGC )白皮书》,中国信通院

4.《 ChatGPT :细探商业模式与供给端决定因素》,海通国际证券

5.《科技专题研究: ChatGPT 狂飙破壁,现象级 AI 应用引发范式革命》,刘牧野,中航证券

6.《衔远科技周伯文:数亿天使融资不意外,大模型并非大厂专属》,栗子,甲子光年

7.《 ChatGPT 越来越“有人味”,人类该何去何从?听听大咖们怎么说》,王若辰,新华每日电讯

8.《真正的「 AI 元年」何时来? AIGC 或许给出了新答案|氪记 2022 》,36氪


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK