要做“端侧英伟达”！高通力推NPU，主打低能耗和高带宽

作者：葛佳明

来源：硬AI

2024年智能终端大战开启，“手机芯片霸主”高通开始进击。

3月4日，在高通公司年度股东大会上，高通CEO Cristiano Amon直言，当前高通正引领一场AI手机的变革并积极进军AI PC领域，与英特尔、AMD和英伟达等竞争对手展开角逐，将在未来几个月内推出骁龙X Elite芯片，该处理器在AI工作负载方面超越了英特尔等竞争对手的产品，Amon表示：

“骁龙X Elite是我们首款搭载定制高通Oryon CPU的芯片，它在人工智能性能和电池寿命方面树立了新的行业标杆。我们期待它为设备上的生成式人工智能和Copilot体验带来革命性的变革。”

高通认为，虽然目前AI处理重心主要集中在云端，包括ChatGPT、微软Copilots和谷歌Gemini，但由于云端推理成本较高、能耗较大、可靠性及时延、用户隐私及数据安全等问题，端侧AI部署成为AI实现规模化扩展及应用落地的关键。

与此同时，端侧AI部署通过本地运行“个人大模型”，可以为用户创建个性化的本地知识库，实现“千人千面”个性化体验，未来端侧AI将成为人机交互的首选方式。

媒体分析指出，全球消费电子市场也可以依靠端侧AI的落地走出低谷，IDC预测，2024年将成为AI PC元年，在2027年，AI PC的渗透率有望达到85%，波士顿咨询预测2028年全球AIPC渗透率达到80%。

在高通看来，随着AI端侧的飞速发展，产业需要在性能、功耗、效率、可编程性和面积之间进行权衡取舍，而NPU则是专门为低功耗加速AI推理而设计的一种处理，也是高通在芯片设计领域的强项之一：

通过采用一个全新的供电系统，使NPU能够根据工作负载适配功率，从而兼顾高性能与低能耗此技术升级还引入了微切片推理，进一步提升了加速效果，为用户提供更出色的性能和更长的续航时间

Amon认为，高通在无线连接和通信技术上的领先地位也经常会被市场忽略，具备能够提供高带宽、低延迟、高能效和高精度的连接能力。骁龙X80可提升数据传输速度、覆盖范围和效能，同时降低延迟。连接毫米波网络时，功耗可降低10%，定位精度提升30%。

近日，高通正式发布了《通过NPU和异构计算开启终端侧生成式AI》技术白皮书中文版，揭示了NPU的三大杀手锏。

报告指出，NPU（Neural Processing Unit）是基于DSA领域专用架构技术的处理器，相比CPU、GPU等通用处理器，从硬件架构上更适合于神经网络运算，可专门用于给AI做硬件加速。

Al工作负载主要包括由标量、向量和张量数学组成的神经网络层计算以及非线性激活函数，优秀的NPU设计能够为处理这些AI工作负载做出正确的设计选择，与AI行业方向保持高度一致。

高通指出，他们的NPU差异化优势在于系统级解决方案、定制设计和快速创新。通过定制设计NPU并控制指令集架构(ISA)，高通能够快速进行设计演进和扩展，以解决瓶颈问题并优化性能。

具体来说，高通的系统级解决方案会考量每个处理器的架构、SoC系统架构和软件基础设施，从而优化整体AI解决方案。更进一步来看，通过定制设计NPU并控制指令集架构，高通可以快速进行设计演进和扩展，以解决瓶颈问题并优化性能。

有了NPU还不够，做好异构计算同样重要。异构计算可以发挥每种处理器的优势，比如NPU擅长标量、向量和张量数学运算，更适用于核心AI工作负载。

高通AI引擎就是高通的异构计算架构，目前各类骁龙移动芯片中几乎都搭载了高通AI引擎。

有媒体分析指出，英伟达在芯片行业的主导地位还未辐射到端侧AI市场，对于端侧AI市场的竞争日趋白热化。

高通CEO Cristiano Amon指出，高通的处理器已大规模用于全球安卓智能手机中：

“我们正在引领一场变革，让生成式AI赋能全球智能手机用户。凭借我们最新的骁龙移动平台，我们将继续巩固在高端安卓设备市场的领导地位，并提供显著增强的人工智能处理性能。”

据悉，骁龙8 Gen 3作为公司最新的力作，已被三星等领先智能手机制造商采用，并在其最新的Galaxy S24系列智能手机中发挥关键作用。该处理器不仅提升了手机的整体性能，还针对生成式人工智能功能进行了优化，如三星的Generative Edit工具，使用户能够以前所未有的方式编辑照片，轻松擦除或移动拍摄对象。

Amon认为，市场往往忽视了高通在通信领域的深厚底蕴和领导地位。端侧AI将对数据和带宽提出更高的需求，而高通在调制解调器和无线技术方面拥有领先优势常被忽视。

对于端侧AI来说，高带宽连接意味着更低的延迟、更大的可用性和更好的覆盖，高带宽连接可以支持边缘设备在执行机器学习任务时获得更快的响应速度，提高数据传输效率，并确保连接的稳定性和可靠性。

高通近日发布的最新的旗舰级5G调制解调器 ——骁龙X80，这款处理器配备张量加速器 (tensor accelerator)，可提升数据传输速度、覆盖范围和效能，同时降低延迟。连接毫米波网络时，功耗可降低 10%，定位精度提升 30%。

此外，在MWC2024 上，高通公司宣布推出全新的高通AI Hub，为开发者打造获取开发资源的中心，从而基于骁龙或高通平台打造AI应用。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示：“随着面向智能手机的第三代骁龙 8 和面向 PC 的骁龙 X Elite 的推出，高通开启了终端侧 AI 的规模化商用。现在，借助高通 AI Hub，高通将赋能开发者充分发挥这些前沿技术的潜力，打造具有吸引力的 AI 赋能应用。”

Shrout Research的分析师Ryan Shrout表示，AI PC的热潮将在2025年到来，提前布局的高通在这场争夺战中颇具优势，尽管高通目前在AI PC市场的份额微乎其微，但其骁龙 X Elite平台提供了远超英特尔或AMD芯片4倍以上的AI性能，第一批搭载X Elite芯片的笔记本将于2024年6月上市。

2024年，英特尔、英伟达、AMD、ARM以及高通间对端侧AI的市场份额争夺战已不可阻挡。

本文来自微信公众号“硬AI”，关注更多AI前沿资讯请移步这里