4

相由色生——浅析OPPO全链路色彩管理与人像视频技术

 3 years ago
source link: https://zhuanlan.zhihu.com/p/298957387
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

有时候觉得这世界挺奇妙的,苹果主张了那么多年的全链路色彩管理和系统级色彩管理,被一些安卓粉一句:“还是讨好眼球最重要”就打消了。除了谷歌自己在色彩管理上不够努力之外,全球安卓系的大部分厂商在色彩管理上一直进展缓慢和过度扭曲营销是主因。

作为苹果的用户,这么多年最大的福利,除了IOS,就是色彩一致性。苹果强调的所见即所得,指的是从拍照/摄像采集数据到终端显示的一致性,iPhone和iPad显示效果好的根源,不是屏幕本身有多强,而是一致性做得好。色彩一致性这个刚性需求,一直被什么眼缘好、卖相好、用户不懂感知不强之类的莫名其妙的理由所扭曲。但凡果粉强调一致性重要的时候,总有一些极端的安卓粉跑出来说感知不强。

这种不符合基本理性逻辑的所谓感知不强,对行业会构成发展的障碍。

这种悲剧在PC平台已经发生过一次,大量莫名其妙调整的屏幕,完全无法显示真正的色彩,SRGB下也出现巨大的偏差。这对成本有限的内容创作者和输出者,是巨大的困扰。

还好,从2018年底开始,越来越多的国产手机厂商开始理解所谓的用户眼缘好、卖相好、讨喜的存在严重误差的色彩表达,是一条邪路。我也反复强调,从拍照色准到显示色准的一致性,才是真正有意义的屏幕输出表现。苹果坚持了这么多年的价值观,终于被安卓系厂商接受。

从一加7Pro开始,整个行业对屏幕色准到拍照色准的延续性,终于有了定论,那就基于δE2000标准和JNCD标准下的优化值。欧加集团率先对OPPO和一加两个品牌做色彩一致性管理,推出了高标准的屏幕。vivo则以DCC会员的身份,持续对屏幕和拍照色彩做一致性优化;小米则在2020年推出原色屏概念,强调每一块屏幕都做校色处理。

今天,我们终于看到苹果之外的第二家公司,将信号采集到输出质量以企业发展战略的标准定下来。当初参加一加7T Pro屏幕技术发布会的时候,一加的同事告诉我,打造一块高标准的原色屏幕,配合原色的影像输出,是欧加在2019年全年思考的事情。这件事甚至超过高刷概念成为公司在显示技术领域的头号指标:相由色生。没有准确的色彩表达,所有的拍照努力都是白瞎。

Bvam2my.jpg!mobileaqaeamE.jpg!mobile

“OPPO全链路色彩管理系统”,是对2018-2020年OPPO在屏幕显示技术、高刷新技术、面板选型、影像模组选型、AI智能算法和色彩分割取向上的统一标准整合。它强调信号采集、AI计算、输出到屏幕应成为一个整体的评价标准,在这个过程中:中央处理器、NPU协处理单元、影像CMOS、镜头组、AI静态成像及视频拍摄算法、机身内风格调校、屏幕参数调校都将遵从一个统一的量化标准,真正达到所见即所得。

buEV3qV.jpg!mobile

OPPO Find X2 Pro,率先做到了这一点:

ZjQ7nmq.jpg!mobile

这是Find X2 Pro在夕阳下分别用超广角、广角和5X厂家拍摄的静态照片。基本做到了高度的色彩一致性。(和这个质量类似的只有iPhone12 Pro,它的多焦段色彩一致性让我感到惊讶)。这三张照片,在Find X2 Pro、DELL 2720QM和Thinkpad X1 Carbon(校色后)显示效果几乎完全一样。这同样也说明Find X2 pro的屏幕色准表现达到了非常高的一致性。

FNV7byE.jpg!mobile

室内红黄色的表达,经过一年固件迭代的FindX2Pro达到了一个新的准度,这张照片我传到一台iPhone11 Pro MAX上,和FindX2 Pro原色屏表现几乎无差异。

这,就是我要的所见即所得,也就是我创作的照片,发到任何一个同样准确的屏幕上,对方看到的跟我的感受完全一致。

这,正是苹果这么多年来坚持不懈努力的方向,也是整个重营销轻本质的安卓阵营所轻视的方向。还好,今年大家都开始重视了,而OPPO 提出的全链路色彩管理系统,是其中最具代表性,也逻辑最完善的系统。

这套全链路色彩管理系统分为软硬件两部分。硬件部分,全链路10bit高色深色彩数据的处理能力,色彩数据处理链路,拍摄->运算->编码->存储->解码->显示->(显示硬件+软件)。软件色彩管理,不同色域之间的正确转换映射,达到同样高性能设备之间的色彩一致性表达。(在完成图像(色彩)数据采集后,相关数据到相册端解码渲染的过程中也会经过相应的色彩管理,以实现色彩的正确映射和正确显示。)

zaQvau.jpg!mobile

简单点说就是,不同色域标准的图像进行相应的色域转换后以实现适配当前设备环境下的最佳颜色效果,最大限度还原真实色彩。目前OPPO在照片上会添加ICC标识。ICC标识是一组用来描述色彩输入、输出设备或者某种色彩空间的特性的数据集合,用于色彩管理,以实现让颜色在设备和文档之间保持一致。

根据实测,从Color OS11开始,相机、相册和部分APP(比如知乎和微信)已经实现了色域表达的一致性。系统会根据照片中的ICC Profile信息判断照片的色域是sRGB还是DisPlay-P3,同时也识别屏幕的色域是sRGB还是DisPlay-P3,之后在做出正确的映射。目前,OS11可以保证在相册里的图、知乎上传的图、微信聊天界面放大的大图的色域空间一致。

此外,Color OS11可以做到对于不同色域内容的自适应显示,实现色彩的正确解析和映射,无需再单独设置。

zMFzyi.jpg!mobile

5G时代的特征是用户可以轻易获取到超高分辨率,超高色彩数(10bit十亿色)的图片和更高码率的视频。在500Mbps的网络带宽加持下,用户将可以交换色彩更丰富,内容更繁杂的图片和视频。那么,不同设备间的色彩显示管理显得就尤为重要。苹果在开发IOS的早期就意识到这个问题的严重性,多年来严格的全链路色彩管理,使得苹果设备成为色彩一致性和所见即所得体验最好的生态。OPPO此次提出的全链路色彩管理,解决也就是当前跨设备,跨应用色彩不一致,拍照到显示输出色彩不一致的难题。我一直强调色准和色彩表达,是整个显示需求中最刚需的部分,我们不应该以什么讨好眼球更实用这种营销价值观来取代理性价值。也许过去我们被严重扭曲的色彩表达讨好过眼球,但终究还是要明白这不是正路。色彩的准确表达,应该是所有影像爱好者共同的追求,并且鞭策各类设备厂为之努力。

除了全链路色彩管理,OPPO这次还提出了一个人像视频技术。前后2000万照亮你的美这类台词,是OPPO和vivo的首创。对人像静态拍摄和视频拍摄的探索,这两个公司一直没断过。不同的历史阶段,大家对人像拍摄的认知也是不同的,平光磨皮乱P这是一定历史阶段的产物,而这个阶段中的产品,也具备这种历史扭曲的技术特征。

mQvUVfj.jpg!mobile

就像色彩管理一样,发展到一定阶段有一定实力的厂商,还是要回来拨乱反正。苹果对人像的表达,充满争议,有人说真实唯美,有人说太丑了见不得光。而今天,OPPO给出的见解是:精细化效果审美和故事化的画面表达。通俗点说就是过去的照亮你的美太简陋,而过分的原始也反馈不出来照片主角的情绪和特征,所以要把人像表达进一步精细化。

OPPO的专项魔镜计划,对人像作品提出了三个维度的解构:第一是拨乱反正,回归真实自然有气色,有气质;第二是在真实自然的基础上遮瑕美颜,这是有限度的,另外为部分有P图需求的用户提供妆容选项;第三是遵循摄影的本源:光的艺术,提供光影的变换和清晰度选项。

qiUB3iA.jpg!mobile

其实从一两年前,头部的几家公司就已经意识到某人像美颜供应商的技术局限性,从此各自走上自研人像算法的道路。例如,新的OPPO AI肤色检测的神经网络模型,OPPO改进了网络架构和LOSS函数,实现96.5%的皮肤区域检测准确率和97.4%的脸部皮肤精度。此外,OPPO进一步扩大“皮肤区域的定义”,相比于业内常见的仅定义脸部皮肤区域,OPPO AI肤色检测还涵。

盖脖子和手部皮肤区域,用户在拍摄后对皮肤区域进行调整就不会出现脸、脖子和手皮肤表现不一致的问题。另外,针对暗光人像,OPPO提出了超清算法。针对用户在暗光拍摄和虚焦(例如长焦拍摄和拍摄时手抖)时得到的。

不清晰画面,通过AI算法对画面进行处理,得到更清晰、细节表现更细腻的画面。在AI超清人像算法中,OPPO在神经网络模型中加入了Portrait SR Model(超分模型),并在Post Processing(后处理模型)中进一步优化画面噪点表现。

nuYBfy.jpg!mobile

此外,新的人像和视频算法,还在分阶段采样、智能遮瑕、人脸畸变实时校正、和超级防抖上有多项突破。NPU的诞生,给了手持设备有更多的算力去探索细分领域拍摄变革的可能。OPPO的人像视频技术系统,是摒弃过往简单美颜算法,走向精细化个性运算的一个重要步骤。从此行业竞争的战火从静态人像优化烧到了人像视频领域的优化。优化不等于美颜,过去我们单纯的认知美颜=手机拍照/视频,这种理念已经跟不上时代。追求复杂场景下更自然,更合理的人像优化方案,是行业未来的方向。

FJjMV3v.jpg!mobileA73eiab.jpg!mobile7ZjYjuz.jpg!mobileQnUziuE.jpg!mobile

这次INNO DAY,我最关注的除了那个卷轴屏概念机之外,就是OPPO提出的这个全链路色彩管理系统的企业战略。这意味着OPPO未来在屏幕选型,校色管理,影像模组选型上的都不可能划水。毕竟硬件是实现色彩管理的基石,苹果在这几个方面从来都是全球顶尖的选型。

相由色生,全链路色彩管理、新的人像拍摄算法会很快商用,而安卓机也将走入一个所见即所得,色彩高度一致性的新时代。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK