4

vivo新机一英寸大底没跑了,还能数秒拍出星空

 1 year ago
source link: https://www.qbitai.com/2022/10/38929.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

vivo新机一英寸大底没跑了,还能数秒拍出星空

head.jpg白交 2022-10-26 12:45:01 来源:量子位

一揽子发布了7大影像技术矩阵

杨净 发自 凹非寺

量子位 | 公众号 QbitAI

你敢信,这样一张沙漠里星河密布的照片,会是手机秒秒钟拍出来的?

a8173e8970c34da18194cc91afc20f76~tplv-tt-shrink:640:0.image

而像专业摄影中才有的一些操作,比如白加黑减,如今手机也可以做到。

5e5caefa5efc448baaef462d249be8c4~tplv-tt-shrink:640:0.image

(白加黑减:在一些过黑or过白的场景中,相机智能系统可能会误认为过曝或欠曝,自动调整曝光度,导致白不是白,黑不是黑,呈现一种掺杂灰色的状态,这时候就需要摄影师手动调整曝光。)

这就是以影像建厂的蓝厂vivo,在最新战略发布会上分享的影像技术,从传感器到算法、自研芯片,从风光到人像……还宛如大型预热现场?!

明示一英寸大底50mm人像镜头、自研芯片AI-ISP架构升级……

有网友评论:要是下一代X90这些技术能放下就好了。

bb556b21ea114f75967c62da01b7afb6~tplv-tt-shrink:640:0.image
96612e8238d8416694fe5e8b6c06d975~tplv-tt-shrink:640:0.image

但有一说一,这一次vivo,的确将自己的影像深耕由表及里,由内而外地讲清楚了,还直接摊出自己的秘籍。

这就来带你一文看尽。

vivo如何思考影像技术革新?

通常而言,从技术的维度来看,影像主要有光学、算力、算法三个方面。

具体到用户侧,则涵盖了色彩、夜景、人像、运动、视频等场景去提升体验。

这次vivo直接一揽子发布了7大影像技术矩阵,将其归纳于三个“比肩专业影像”目标当中。

  • 比肩专业影像设备:光学感知系统、臻彩还原引擎、超清画质引擎、算力加速引擎。
  • 比肩专业摄影团队:环境理解技术
  • 比肩专业后期能力:超感人像系统、苍穹夜景系统。

通过这样一个技术矩阵,搭建起真实世界——成像系统——后处理算法的影像通路。

4070aa77362c49738ae216fca9041d16~tplv-tt-shrink:640:0.image

以光学感知系统为例,则包括与蔡司合作的光学模组、镀膜等技术。此次发布会全新发布了一项新技术——VCS仿生光谱技术

据介绍,光线在进入感光元件时会先通过color filter,普通图像传感器的color filter光谱,与人眼差异很大,而要继续优化还原又将影响画质;VCX仿生光谱,就是通过改善Sensor QE光谱,信噪比提升20%和色彩还原能力提升15%,让传感器接收的原始信息接近于人眼。

除此之外,会上还提到将对感光元件做一些“升级”——配置更大底的CMO,比GNV提升了77%。

有细心的网友算了算:一英寸大底没跑了

再以超清画质引擎为例,其典型技术包括光学超分算法

据介绍,手机因为体积限制,会在光学上做出一些妥协,比如潜望摄像头,原始图像经过镜头后会损失约50%的信息。而光学超分算法通过对镜头的缺陷建模分析,可恢复约35%的损失信息。

引擎中还有Denoise、Demosaic、Deblur等模块,经过1亿多次场景训练,深度运算能力较上一代提升了10倍。

而且还透露,为了配合下一代长焦硬件升级,超清画质引擎可对5倍以上的焦段,理论最高提升64%的拍摄解析力。

914cb17ecfb248f1a78caa07a75326ee~tplv-tt-shrink:640:0.image

当然这不过也只是通过拍摄过程进行拆分。

根据具体的场景,vivo还亮出了特有的技术矩阵。

就专业影像而言,场景无非风光、人像、视频以及特定的夜景这几个类别。

不妨就以竞争最激烈、也是最能体现技术实力的人像、夜景为例。

vivo的超感人像系统包括三大核心技术模块:人像理解、人像美化以及人像氛围。

人像理解技术,它可以对人脸进行语义重点和轮廓细节的提取,建立103个特征点的关键人脸坐标;与此同时,还将对皮肤、手势、肢体关键点进行检测,主体分割IOU的精确度达到了96.15%。

dc12950e9d32418db3652569a7efbf75~tplv-tt-shrink:640:0.image

人像美化,则是基于去年S12微米级焕肤塑颜技术的升级;还有人像分化融合技术。

在镜头上则是采用50mm人像焦段,还通过深度感知虚化,与蔡司合作还原了多种经典镜头的效果。

苍穹夜景系统也进行了全面的升级,发布上公布了三个全新模型:超感光模型、全分割语义模型和臻彩影调模型。

其中超感光模型,顾名思义,可将感光能力最大提升100%,ISO最高可支持102400。

据说,这样就可以拍到银河了哦~手持星空了解一下。

fd235f36725743a88f6651203d2f84f3~tplv-tt-shrink:640:0.image

而为了适应像视频这样对计算处理能力要求高的场景,vivo自研芯片也有更新。

最大的更新,就是架构的升级:从ISP到AI-ISP

传统ISP能以低延时处理大量的数据流水,但只能理解已知、特定的问题;AI-ISP则相当于给传统ISP芯片加个AI大脑——通过硬件直连的方式,将AI计算直接融入ISP Pipeline中,从而实现处理能力、能效的提升。

基于这样的升级,下一代芯片在片上内存单元(每秒1.3万亿比特的峰值数据吞吐速率)、AI计算单元(每瓦16.3万亿次运算的峰值能效比)、图像处理单元*(夜景降噪效果提升20%等)都有相应的突破。

5cdaac57953d485c877cfe9a86f7e713~tplv-tt-shrink:640:0.image

两个影像战略

好了,说到这里vivo也不瞒了,直接公布了自己的影像战(mi)略(ji)。

两大支点:联合创新+自主创新。

057c00bbe7a04951886769f60e8f651e~tplv-tt-shrink:640:0.image

联合创新上,vivo与蔡司及上下游厂商,研发更好光学系统。而在自主创新上,则是布局算法和影像芯片的研发,软硬件协同并持续迭代升级。

不管是合作还是自研,目标只有一个——构建底层核心能力,从而得以在影像长赛道上持续深耕。

最后,对于vivo这一波影像秀肌肉,你最期待哪项新技术呢?

版权所有,未经授权不得以任何形式转载及使用,违者必究。

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK