GPT家族进化史

GPT家族进化史

在ChatGPT出现之后，人们有关AI技术的想象空间被极大地放大了，而最近OpenAI发布的GPT-4，则展示了AI技术堪称恐怖的更新与变化速度。那么纵观来看，GPT经历了怎样的发展过程？本文便对GPT家族的进化史进行了总结，一起来看一下。

传播学之父威尔伯·施拉姆曾说过：“这一天的前23个小时，人类传播史上几乎全都是空白，一切重大的发展都集中在这一天的最后7分钟。正是这最后7分钟，谱写了人类历史的黄金时期，而午夜前的最后3秒却翻开了人类迈进信息化社会的新篇章。”

这句话用来形容技术进化也很合适。人类绝大多数时间都处在“科技大停滞”的状态，而科技大爆炸来的时候常常是“一句招呼都不打”。近期，人工智能（AI）技术的发展，就让大家切实感受到了科技的“暴力美学”。

在ChatGPT出现前，有人悲观地认为，AI领域已经形成巨大泡沫。但眼下，AI呈现出全新的价值，让行业重现百家争鸣的热闹景象。

3月15日凌晨，OpenAI发布大型多模式模型GPT-4，GPT-4不仅能够处理图像内容，且回复的准确性亦有所提高，在官方演示中，GPT-4只花了10秒，就识别了手绘网站图片，并根据要求实时生成了网页代码制作出了几乎与手绘版一样的网站，堪称“王炸级”产品。

3月16日，提前一个月宣传造势，备受关注的百度文心一言揭开神秘面纱。虽然发布会一开始，百度股价便出现断崖式下跌，李彦宏也坦言产品没有完全准备好，但这并不影响市场的庞大需求。

发布会后1小时内，排队申请文心一言企业版API调用服务测试的企业用户已达3万多家，申请产品测试网页多次被挤爆。

3月17日，在“用AI重塑生产力”活动上，美国科技巨头微软宣布为其Microsoft 365应用和服务推出一款新的AI驱动的产品Copilot，由OpenAI本周发布的GPT-4提供技术支持，旨在像助手一样，用AI帮助用户生成文档、表格、电子邮件、PPT等。这意味着，超12亿人（微软官方数据）将会解放双手，获得AI带来的生产力提升。

对于天天码字的小编来说，只有一个词——想拥有！

时至今日，已经没有人会怀疑AI以及大语言模型的重要性了。更大、更快、更强，又意味着什么呢？有人说，ChatGPT的出现，终于让人类的一只脚迈进了元宇宙。

任何指数增长的曲线初期，拉近了看都不过是一个平淡的缓坡，但只有回顾整个历史的时候，我们才会知道这条曲线最终会加速到怎样的高度。

今天我们就来回顾一下GPT家族的进化史，看看它是如何一步步让全世界科技大厂黯然失色的。

一、GPT的升级之路

过去十年间，谷歌、脸书、亚马逊、苹果和微软等科技巨头纷纷开启AI军备竞赛，先后成立专门的AI实验室，而业界公认的顶级AI实验室只有三家：背靠谷歌的DeepMind、背靠微软的OpenAI和背靠脸书的FAIR。其中，被谷歌收购的DeepMind因拥有AlphaGo（阿尔法狗）最为家喻户晓。

2015年12月，特斯拉汽车创始人埃隆·马斯克，格雷格·布罗克曼(OpenAI联合创始人兼总裁)、山姆·阿尔特曼(OpenAI首席执行官)、彼得泰尔(Paypal创始人)以及伊利亚·苏特斯科夫(师从神经网络之父杰弗里·辛顿，OpenAI首席科学家)等数位硅谷大佬拿出了10亿美元，在旧金山创立了OpenAI Inc.。

OpenAI Inc.设立之时就是一家非盈利组织，他的目标就是研发通用且开放的的人工智能来对抗谷歌的DeepMind“霸权”。

2016年，微软Azure云服务为OpenAI提供了算力条件，使得日后的ChatGPT要进行大规模深度学习、神经网络渲染等都成为可能。

2017年，Google团队首次提出基于自我注意力机制的Transformer模型，并将其应用于自然语言处理。OpenAI应用了这项技术，2018年发布了最早的一代大型模型GPT-1（GPT是Generative Pre-trained Transformer的简称，中文为生成型预训练变换模型）。

最初的GPT-1，运用几十亿文本档案的语言资料库进行训练，模型的参数量为1.17亿个，据说效果一般；2019年，GPT-2发布，模型参数量提高到15亿个，效果仍然很一般；可OpenAI坚持“大力出奇迹”的想法，继续扩大它的参数量，得益于更高的数据质量和更大的数据规模，GPT-2有了惊人的生成能力。

2020年，GPT-3诞生，参数量达到了创纪录的1750亿个，其训练参数是GPT-2的10倍以上，技术路线上则去掉了初代GPT的微调步骤，直接输入自然语言当作指示，给GPT训练读过文字和句子后可接续问题的能力，同时包含了更为广泛的主题。

这一次，结果终于不同，大家发现它的对话功能一下子达到了相当高的水平，2022年12月首次公布的ChatGPT（能够对话的GPT版本）就是在GPT-3基础上的3.5版本。

二、让人工智能出圈的ChatGPT

ChatGPT之所以受到如此广泛的关注和喜爱，是因为它具备了GPT-3所缺乏的关键功能：对话设计。

对于许多人来说，评估一个人工智能模型的好坏，往往看它是否能够在一次来回的对话中听懂使用者的问题，并给出令人满意的答案。相比于背后的知识量，人们更关注AI模型的“沟通能力”。

这些模型能够以比人类快上10倍甚至20倍以上的速度生成文本，并且生成的文本质量还不错，令人印象深刻。

简单来说，GPT-3的架构就是通过喂入大量的范本，学习拆解这些模板并重新组合出新的结果。引擎设计者所喂入的资料越多，GPT-3获得的知识就越丰富。例如，OpenAI在GPT-3的预训练过程中喂入了超过570GB的文本资料。当GPT-3获得足够丰富的知识库时，其生成的结果也变得越来越精确。

使用者只需要将自己的工作通过语意拆分成多个小任务，让GPT-3分别完成，再将结果组装起来，就能像有了10倍超能力的工作者一样高效地完成工作。

三、GPT-4功能强过ChatGPT，能玩梗图还能做网页

鉴于ChatGPT给人工智能产业带来的变革，市场自然对其升级版GPT-4赋予了诸多想象。

3月15日凌晨，OpenAI正式推出GPT-4，产品具备诸多亮点。据OpenAI介绍，在平常的聊天过程中，可能感受不到GPT-3.5和GPT-4之间的区别，但是当任务的复杂性达到足够的阈值时，两者之间的区别就显现出来了。GPT-4比GPT-3.5更可靠、更有创造力，能够处理更细微的指令。

相比ChatGPT仅能在文字领域施展特长，GPT-4的一个关键升级就是多模态，也就是支持图像和文本输入，拥有强大的识图能力。值得一提的是，GPT-4已经能看懂一些图梗了，不再仅仅是对话助手。

用户提问：解释下图的笑点是什么，并对图片中的每部分进行描述。GPT-4的回答如图所示：

图 | OpenAI

据OpenAI介绍，虽然目前GPT-4在现实场景中的能力可能不如人类，但在各种专业和学术考试上都表现出明显超越人类水平的能力。虽然GPT-4的训练语料库还停留在2021年9月之前，但对科学、医学、法律等特定领域进行了知识面的扩充，不仅能在美国统一律师资格考试中取得前列成绩，在奥赛、GRE等考试均取得了很高的分数，甚至SAT成绩（可以理解为美国高考成绩）——已经超过了90%的考生，跨过哈佛、斯坦福等名校的门槛。

图 | OpenAI：GPT3.5和4的部分考试成绩

据外媒最新消息，OpenAI总裁格雷格·布罗克曼称，公司正在测试GPT-4高级版本，是普通GPT-4储存内容能力的5倍。

四、成就GPT的股权新玩法

OpenAI带来的革新不仅体现在产品和技术层面，其独特的股权投资方式也在很大程度上造就了GPT的成功。

随着GPT的技术以指数级速度增长，其算力的烧钱速度也呈现出指数级的上升。巧妇难为无米之炊，OpenAI需要不断地输血才能保持运转，但显然全世界没有一个投资者想当慈善家，唯一的解决办法就是对外引进财务投资。

2019年担任OpenAI首席执行官的阿尔特曼说：为了成功完成我们的使命，我们需要海量资金，数额远超出我最初的设想。

为了彻底解决资金问题，OpenAI调整了结构，一分为二：非营利部门（OpenAI Nonprofit）从事开发技术，营利部门（OpenAI LP）负责商业化，但OpenAI给不同时期进入的投资人设置了各自的盈利天花板。天花板之上，所有的盈利将属于非营利部门。

图：创业邦

2019年，改制后的OpenAI正式开启融资之旅。据创业邦数据显示，包括最早期投资（比种子轮更早的Pre-种子轮），OpenAI一共进行了8轮融资，涉及9家知名机构和企业，融资总金额约110亿美元。

图 | 创业邦

根据OpenAI的发展，简单概括为以下4个阶段：

阶段一：2015年OpenAI首席执行官阿尔特曼，与埃隆·马斯克等人宣布出资10亿美元，创立了非营利性研究机构OpenAI。

阶段二：2019年OpenAI的架构进行了调整，调整后变身为两家机构——营利性机构OpenAI LP和最初的非营利机构OpenAI, Inc。

目前我们提到OpenAI，通常指的是被称为OpenAI LP的一家有限合伙企业，在组织形态上采用的是有限合伙，这是一家盈利公司。

非营利机构OpenAI, Inc是其负责投资管理的普通合伙人（GP），这是一家在美国特拉华州注册的有限责任公司。也就是说，OpenAI LP由OpenAI, Inc控制。

阶段三：从2019年开始，微软与OpenAI建立了战略合作伙伴关系，不少于三次投资，共投入130亿美元，成为OpenAI最大的有限合伙人。OpenAI LP从成立之初参与投资的VC们，也成为了有限合伙人。

阶段四：在OpenAI未来盈利后，与一般企业通过上市让投资人获得回报的做法不同，OpenAI选择了一种新的股权投资协议模式——以投资回报速度代替投资回报水平。

盈利后的OpenAI将分节奏，逐步回报投资人：

1. 优先保证OpenAI的首批投资者收回初始资本；
2. 微软投资完成、OpenAI LP首批投资人收回初始投资后，微软有权获得OpenAI LP 75%利润；
3. 微软收回130亿美元投资、从OpenAI LP获得920亿美元利润后，它分享利润的比例从75%降到49%；
4. OpenAI LP产生的利润达到1500亿美元后，微软和其他风险投资者的股份将无偿转让给OpenAI LP的普通合伙人——非营利机构OpenAI, Inc。

从以上四个阶段可以看出，本质上OpenAI是在把公司借给微软，而借多久，取决于OpenAI赚钱的速度。

直接以投资回报速度代替投资回报水平，这种做法是建立在OpenAI最终回归公益的愿景必然实现的强烈信念，以及管理团队能够驾驭OpenAI走向成功的充分信任基础上。

在这样的信念之下，OpenAI吸引了很多顶尖的AI研究人员，承诺绝对有竞争力的薪水和绝对的商业自由。他们毅然离开原来的科技公司和学术机构，加入OpenAI，希望专心思考人类的终极问题。

当然，OpenAI LP的股权结构尚存在一些不足。相比之下，拥有较好的创始团队激励、较好的股权流动性、无上限的投资回报收益等优点的传统股权投资体系，在现阶段仍然是不可被替代的。

OpenAI LP的新路能否最终通向罗马，尚需时间的检验。