独家 I 重新认识马里亚纳，OPPO挑战自我的冒险之旅
source link: https://www.mittrchina.com/news/detail/10998
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
麻省理工科技评论-独家 I 重新认识马里亚纳，OPPO挑战自我的冒险之旅
在智能手机时代下，手机芯片的复杂程度与功能机时代相比已是今非昔比。手机芯片厂商所剩无几，全球能做芯片的手机厂商也是屈指可数。
目前，大部分手机厂商只能选择通用芯片，以及行业配套的影像算法，从而满足用户的影像需求。
随着用户需求不断变高，计算影像也在不断地进化。与此同时，计算影像对通用平台的算力也在水涨船高，通用芯片逐渐无法满足手机厂商对于算力，和移动端极致能耗比的要求。
同时，传感器、芯片和影像算法，通常会由不同的供应链负责。如果要做一枚影像芯片，如何垂直整合影像链路成为了一道难题。算法、芯片框架如果全部采购自第三方，这样做在公司运营和成本方面会有很多好处，但也带来了用户体验上的问题——厂商无法在一个时间点，将各个模块的指标做到最佳，更无法做到整合。
OPPO 认为，如今想要满足用户的影像需求，又要提供差异化体验，那就不仅要拥有自研影像算法能力，还要有自研芯片设计能力，甚至上游传感器的深入定制能力，真正从消费者的真实需求出发，打通整条影像链路，从而为消费者提供最佳的使用体验。
但自研芯片并非易事。这件事情的难度大到 OPPO 会用地球上已知最深的海沟 —— 马里亚纳 —— 来命名这一次行动。
在 2019 年，OPPO 将自研芯片项目命名为“马里亚纳”，而其首个自研影像专用 NPU 也被叫做——马里亚纳 X。
“这颗芯片取名叫做‘马里亚纳’，意味着我们并不想去一个普通的地方，而是希望能挑战极致。我们既是激进地在推动芯片自研，同时也是抱着对芯片的敬畏心在做这件事”。OPPO 芯片产品高级总监——姜波介绍道。
2021 年 INNO DAY 上，马里亚纳 X 正式发布，并在 2022 年 2 月首发于 Find X5 系列产品上；2022 年 5 月，Reno8 系列产品也正式搭载马里亚纳 X。
近日，因为这款自研芯片，OPPO 入选了《麻省理工科技评论》“50 家聪明公司”。该名单遴选标准，并不看其短期营收浮动，而是强调入选企业基于新兴科技的创造能力。从技术创新、具体成就、社会影响、业界标杆、商业模式以及公众信誉六个维度，对入选的新兴技术和公司进行评估。
对于 OPPO 这支近千人的芯片团队来说，这次入选 2021 年度《麻省理工科技评论》“50 家聪明公司”，也再次证明马里亚纳 X 标记了一个不错的“登陆点”，这片大海是可以征服，也是必须要征服的地方，但同时也必须保持着敬畏之心的态度，去做自研芯片的这场冒险。
一场对计算摄影技术的极致追逐
包括 OPPO 在内，许多国内手机大厂都将“造芯”视为一个避不开的挑战。
自研芯片确实是有好处的。眼下的手机大战已经白热化，细抠每一个用户体验的提升点，最后都会回归到最本质的底层技术能力上。OPPO 认为，只有构建底层技术能力，才能给用户带来本质上差异化的体验。而这一点，早在 2010 年搭载 A4 处理器的 iPhone 就已有所证明。
作为底层能力的移动端芯片，对算力和能耗比的高要求，也逐渐超出了通用芯片厂商的能力范围。通用芯片厂商处于供应链上游，对用户真实的需求了解也不够清楚；而且通用芯片由于商业出货和客户考量，也很难按照手机厂商的自身需求去堆料。
这些问题在过去无伤大雅，但放到现在却愈发致命。
因此，对于必须要再进一步的手机厂商来说，如果“造芯”避不开，那么晚做不如早做。
但自研芯片的风险也是有目共睹的，砸钱砸人砸设备，数十年的投入可能都换不到一张入场券。如果没有足够强大的驱动力，和“板凳坐足十年冷”的长期主义，最终也难以避免吃力不讨好。
作为一名芯片老兵，姜波对此的体会更为深刻：“芯片要做到极致需要很多代的迭代，意味着没有五年或十年的思考，那么做这件事情没有太大的意义。要按照十年磨一剑的态度去做芯片，更是为了建立自身‘千里之性’的底层技术能力去探索。”
在加入 OPPO 之前，从 20 年前的贝尔实验室，到后来进入当时只有 200 人的高通，姜波此前任职过的公司在当初那个时间点上，都是风口浪尖上的存在。用他的话来说：“智能手机从中国一年出货几百万，到一下子出货一个多亿”。
但来到一家国内手机公司，去负责开发一款市面所没有任何参照物的芯片，这是他未经历过的。
最重要的是，这颗芯片要直面手机算力当前最吃紧的一个方向——计算影像。
所谓计算影像，是用数字计算代替光学处理的图像采集和处理技术，包括数字合影图计算、HDR 合成及光场相机等。简单来说，是以软件代替部分相机元件，达到甚至是超过传统摄影效果。更具体的来说，计算影像技术的发展需要芯片、传感器、算法三个层面进行强耦合，三者环环相扣，缺一不可。
而行业当下主要面临的问题，正是传感器、芯片和算法的不同步。
光是开发周期上，三者的节奏就完全不同。芯片的开发周期基本需要两年以上，传感器则是一年一代更新迭代，而算法开发和训练所需的时间则更短，这意味着厂商很难可以在一个时间节点内统筹好三者。
尤其近年来手机影像的相关算法、以及影像元器件突飞猛进，通用芯片的能力开始捉襟见肘，比如对夜景图像的支持，和对高清视频的支持等都不尽人意。而且，视频摄影场景的挑战，远比图片摄影难得多。前者的处理速度和延时性要求，要比拍照更加复杂。
“一个 30 帧的视频用 33 毫秒做完，和几秒钟拍好一张夜景图片，对硬件的需求是完全不一样的。高端手机和低端手机拍照体验的不同，由几个因素引起：一方面是因为镜头、传感器不一样，另一方面也是因为它们的芯片平台不同”，姜波介绍道。
因此，真正的商用产品，永远要在有限算力和质量间寻找平衡。
例如，用户在使用夜景模式拍照时，需要等待，因为这个功能需要“转圈”。计算影像的上限，或者说其持续演进的需求是一直存在的，最后目标是实现用户完全可忽略的时间出片。但视频则是另外一个维度，因为视频是不能允许有延迟和等待的。
出于这种对计算影像的长期追求，OPPO 的第一颗自研芯片，正是一款影像专用 NPU。
尽管是 OPPO 自研的第一款芯片，马里亚纳 X 仍然带来了 4 个关键的技术性突破和创新。首先在 AI 计算能效上，马里亚纳 X 的能效比，达到了 11.6TOPS/W，有效算力高达 18TOPS；马里亚纳 X 支持画面的动态画面到达了 20bit Ultra HDR；同时基于马里亚纳 X 惊人的算力，进行实时的 RAW 域计算，最大程度修复不该出现的噪点；马里亚纳 X 也支持双链路处理，以及 2 倍的 RAW 超采样，可以让传感器同时输出 RGGB 和 W，两路数据，也为计算影像带来了更多可能。
不走捷径，一次对 AI 时代 DSA 架构的押注
这些突破的背后，包含着 OPPO 对未来计算影像发展脉络的回答，尤其是对端侧算力演变的判断：AI 时代，DSA（Domain Specific Architecture）架构为王。
这款影像专用 NPU 芯片，采用的设计思想是“面向未来 AI 时代的 DSA 架构理念”。
DSA 架构思想的一大背景是，从传统的芯片发展来看，无论是摩尔定律代表的通过制程工艺提高晶体管密度，还是通过增加核心数量，扩大芯片面积，对目前的计算性能提升都有限。
如图灵奖得主 John Hennessy 和 David Patterson 在 2019 发表的经典文章《A New Golden Age for Computer Architecture》中提到：“获得更高的性能改进（像 20 世纪八九十年代那样）需要新的架构方法，新方法应能更加高效地利用集成电路。”
相比传统芯片架构，DSA 更加强调以应用场景为中心的设计思路，通过特殊的计算架构，为解决特定领域的问题提供了强大且高效的性能，尤其是在 AI 芯片的设计领域，这样的设计理念更加受用。
简单来讲，DSA 就是专芯专用，设计出来的芯片不是去解决所有问题，而是解决特定的一类问题，从而满足对效率的需求。
不过，DSA 目前在行业内是非常奢侈的做法。因为对比通用芯片，DSA 架构下的 AI 算力更加垂直，目前全球前沿科技公司都在探索采用 DSA 做 AI，比如 Google 的 Tensor。
在 DSA 架构的思考下，最重要的一步，就是将专用的 AI 算法进行芯片化，也就是在芯片底层硬件中，就直接嵌入最适合 AI 算法的算子。
反观通用的芯片中 NPU，因为要满足不同客户、不同的算法模型，往往需要在计算单元中集成更普遍的算子，以应对多种类型的算法，无法针对某一种特定的算法做到针对性的加速，也就很难突破AI的能效限制。
具体到 DSA 架构下的计算影像 NPU，就是要从最根本上去思考平衡能耗和用户体验，包括提供同样算力的情况下如何大幅度降低功耗和缩短处理时间。传统芯片厂商很少能做到就一个影像方向的改进去做巨大投入。
换句话说，这也就决定了这样一颗芯片，自研是最优解。
最终，和通用芯片相比，从工艺制程选择到芯片综合能力的提供，OPPO 芯片团队采用的技术解决方案可谓是相当“激进”。
而相对保守的做法是，采用更低费用的方案降低风险，例如信息在 RAW 域的处理上，是不是设置做到 1080P 就可以。
甚至，最快捷的方式就摆在眼前：收购 IP 设计芯片。
但姜波认为，从长期能力积累来看，这些都不见得是对 OPPO 最有利的一些方式：OPPO 既然决定做芯片，决定建立“千里之性”的能力，只有从底层核心 IP 就自研的，才能满足自身的设计目标。再加上这款芯片立项时，市面上没有任何 6nm 独立 NPU 的参考设计，开发生态更难，这是一个真正意义上的无人区，因此也只能选择从核心 IP 全部自研。
回到自研芯片的原点，OPPO 一直是希望提供更好的产品，和更好的用户体验，只有通过自研芯片将基础的硬件能力提升上来，才能打造真正差异化的体验。
“当产品做到一定程度以后，就是在比这个能力。具备这种能力，有基础的硬件能力后，对于软硬件的结合上、对垂直链路整合的机会都会有所提升。OPPO 有足够的的驱动力去做这件事情”姜波说道。
边造轮子边开车
在 OPPO 内部，对于姜波这支团队，以及他们在做的自研芯片的事情，有着这样一句形象的描述：“边造轮子边开车”。
这句话概括了自研芯片对国内手机厂商的挑战和难度。事实上，除了技术条件上的挑战，光是从 0 开始组建一支全栈式的芯片开发团队，支持打通影像传感器、算法以及芯片之间的壁垒，就是一大难题。
OPPO 整个自研芯片团队成立于 2019 年。2 个月后，OPPO 马里亚纳自研芯片计划启动。启动之后，整个团队就一直保持着高速运转的节奏，在相当长的一段时间中，很多工程师都在加班加点工作。
最重要的里程碑时刻发生在 2021 年 6 月。马里亚纳 X 流片成功，之后第一次流片成功，并成功点亮，验证芯片可用。
据了解，从项目立项到芯片首次点亮，OPPO 有超过 500 名工程师参与该项目。为了马里亚纳 X，OPPO 自研芯片工程师验证了超过 8000 个案例。
2021 年 12 月 OPPO INNO DAY 上，OPPO 首个自研芯片马里亚纳 X 正式发布，成为“全球首个 6nm 自研影像专用 NPU”。同年年底，OPPO 宣布自研芯片团队已超千人。
“很多同事，尤其是做研发的同事加入这个团队，志同道合的人一起做这个行业里，也许别人没有做过的事情，或者别人没有做成的事情，这对于工程师来讲是蛮大的成就。” 姜波分享道。
也正因为诸多难度的存在，这次芯片研发内部代号“Explorer（探索者）”，意味着 OPPO 希望通过这颗芯片挑战自身芯片设计的极限，并通过这次沉淀下来的能力，拓展自己的能力，打造自身的护城河。
技术验证之后，便到了同样重要的商业验证阶段。毕竟，出几万片和出几百万片对芯片的成熟度，是完全不同的概念。
2020 年，马里亚纳 X 项目正式启动，OPPO 迈出自研芯片第一步。在启动之初，锚定周期便是在 Find X5 系列上正式商用；3 个月之后，马里亚纳 X 搭载于 Reno8 系列，并正式开启大规模商用。这也意味着，OPPO 自研芯片业务的设计流程，以及芯片设计的方法论也得到更加可靠的验证。
从起初芯片预研，到算法优化再到后期适配，目前 OPPO 已经对其进行超过 50 万张真实照片的的训练，以期不断提升自研 AINR（AI 降噪）算法的精准度和适用性。
虽然已经大规模商用，但马里亚纳 X 并未停止迭代。按照规划，它会是一个动态成长的芯片产品，后续也会有基于 NPU 的功能拓展。
姜波进一步解释道，影像比拼的不止是出厂的算法，马里亚纳 X 可以随着OPPO 训练（OTA ）拓展更多影像功能，这才是未来影像的做法，为影像拓展带来新可能。
而且，所有厂商在未来都必将面对垂直整合的难题，只有把整个影像链路上各个环节控制在自己手中，才能做好影像，马里亚纳 X 补足了 OPPO 在影像计算单元上的最后短板。
虽然没有透露更多的后续芯片计划，但姜波表示，团队会不断挑战更极致的一些技术点，希望能够在用户体验上带来一些本质的提升，而持续探索 DSA 理念下的芯片，以及继续开发马里亚纳 X 会是 OPPO 长期坚持的赛道。
值得一提的是，对于行业而言，马里亚纳 X 的问世也释放了一个新的信号：手机行业影像门槛的再次拉高。而对于 OPPO 自身而言，马里亚纳 X 的问世也标志着 OPPO 在逐渐构建自身的”千里之性”。
“OPPO 相信计算影像很重要，相信专用 NPU、影像 NPU 非常有价值，其他公司包括其他芯片厂商，甚至包括其他手机厂商，如果觉得这是一个好的方向，也会朝着这个方向发力。
任何一个行业的发展迭代都是相互追赶促进的，这就像不同的选手在一个赛道上，看到对方领先了才会有更好的吸收，让整个行业提升，这是很良性的相互借鉴”。姜波说。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK