GPU、GPU还是GPU，AI掀起的“算力革命”不仅让几乎垄断GPU市场的英伟达成了聚光灯下的焦点，也让OpenAI CEO在一次又一次的访谈中大谈GPU短缺问题。

5月29日，Humanloop，一家从事机器学习和人工智能的初创公司，其CEO Raza Habib邀请了包括OpenAI CEO Sam Altman在内的20位开发人员共通探讨人工智能的未来，而整个讨论中最重要的主题便是——GPU短缺是最大瓶颈。

Altman表示，目前OpenAI的客户最不满的便是API的可靠性和速度，而这个问题主要就是GPU短缺造成的。

Altman表示，他们的下一步计划就是不断更新GPT-4，让其更便宜，更快，而在发展过程中遇到的最大瓶颈便是GPU短缺，访谈中指出：

长度为32k的上下文窗口还未到推广时机，OpenAI还未能克服技术上的障碍，主要是因为算法的高复杂性。虽然很快就会有10万—100万新的32K上下文窗口token，但提供更多的访问token则需要技术和研究上突破。

微调（Fine-Tuning）API目前也受到GPU可用性的限制。他们还没有使用像Adapters或LoRa这样的高效微调方法，所以微调运行和管理需要高精度的计算。将来会有更好的微调支持。他们甚至可能主持一个社区贡献模型的市场。

OpenAI提供的专用容量服务受到GPU的限制。当用户请求使用专用容量时，OpenAI需要确保有足够的GPU可供分配给用户。然而，由于GPU资源有限，供应有限。要使用这项服务，客户必须愿意预付10万美元的费用。

对于OpenAI未来的发展，Altman表示，在2023年OpenAI的目标是尽可能降低“智能的成本”，继续降低API的成本：

更便宜、更快的GPT-4 —— 首要任务。

更长的上下文窗口 —— 在不久的将来，高达一百万的上下文窗口token。

微调（Fine-Tuning）API —— 微调API将扩展到最新的模型，但确切形式将由开发者表明他们真正想要的东西后来塑造。

支持会话状态的API —— 现在当你调用聊天API时，你必须反复重复历史对话，并反复支付同样的tokens。在未来，API将有一个记住对话历史的版本。

到2024年，GPT-4的多模态——当前的多模态已作为GPT-4的一部分公布，但在GPU算力瓶颈突破后才能扩展到所有人。

在5月16日举行的AI国会听证会上，Altman就已经表达了对算力瓶颈的担忧：由于计算能力瓶颈，如果使用ChatGPT的人少一些会更好。

除了对未来算力瓶颈的担忧外，对于ChatGPT的未来，Altman还表示，尽管许多开发者都表达了在API中融入ChatGPT插件的兴趣，但可能不会很快发布：

插件目前没有达到产品市场契合度（PMF），并且不会很快在API中出现。除了浏览之外，插件的使用情况表明他们还没有和市场达到最佳的契合点。

很多人认为他们希望他们的应用程序在ChatGPT中，但他们真正想要的是在他们的应用程序中可以使用ChatGPT。

Altman称，OpenAI将避免与他们的客户竞争，他们的目标是将ChatGPT打造成一个超级智能的工作助手：

很多的开发者说，他们在使用OpenAI的API构建产品时，担心OpenAI最终会发布他们的竞品。但OpenAI未来不会发布超过ChatGPT的更多产品。

历史上看，每一个伟大的平台公司都有一个“杀手级”应用，ChatGPT的作用是协助客户让他们的产品变得更好。ChatGPT的愿景是成为一个超级智能的工作助手，但也会有很多OpenAI不会触及的其他GPT使用案例。

对于未来的监管，Altman呼吁加强对未来的模型进行监管，但他并不认为现有的大模型存在危险。现在对它们（大语言模型）进行监管或禁止他们的发展是一个大错误。

Altman也重申了开源的重要性，并说OpenAI正在考虑开源GPT-3。

Altman表示，“巨型模型时代”已经结束，这样的表述并不准确：

OpenAI的内部数据表明，模型性能的比例定律仍然存在：当模型大小呈指数增长时，相应的模型性能呈线性增长。

但因为OpenAI在短短几年内已经将模型扩大了数百万倍，未来这样做将不可持续。

这并不意味着OpenAI未来不会继续尝试将模型规模扩大，只是意味着它们可能每年只会增加一倍或两倍，而不是增加许多个数量级。

缩放定律继续有效的事实对AGI开发的时间线有重要的影响。缩放假设是我们可能已经有了构建AGI所需的大部分部件，剩下的大部分工作将是将现有的方法扩展到更大的模型和更大的数据集。如果巨型模型时代结束，那么我们可能应该预期AGI会更远。缩放法则继续有效暗示了更短的时间线。