7

如今手机的拍照功能是否超越了相机? | 谈谈计算摄影

 1 year ago
source link: https://sspai.com/post/66970
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

如今手机的拍照功能是否超越了相机? | 谈谈计算摄影 - 少数派

三星拍的月亮是假的。

3 月 11 日,一篇以此为标题的帖子在海外知名论坛 Reddit 走红,The Verge 在晚些时候的一篇报道中也直接引用了这个结论。

简单来说,这位发帖人通过以下流程对三星自带相机拍月亮的能力进行了验证:

  1. 从互联网上下载一张高清的月面图像
  2. 通过降低尺寸、添加高斯模糊的方式,抹除该图像中的大部分月面细节
  3. 将处理后的图像全屏展示在显示器上,关灯、然后去房间另一头用三星手机进行拍摄

然后这位网友便得到了这样的结果:

1

处理后的原始图像 vs. 三星相机拍摄得来的图像

三星相机在这里加入了拍摄场景中并没有真实存在的图像细节(已经通过高斯模糊处理了),这是目前相关讨论的主要焦点。计算摄影、机器学习算法在智能手机中得到广泛应用的今天,智能手机通过「计算」的方式生成照片早已不是什么新鲜事。但以往大多数人认知范围内的「算出好照片」,都是以镜头能够获取到的信息为基础进行修饰,补偿一些镜头物理限制所带来的问题(比如 Google 的 HDR+)。直接生成镜头所无法获取到的画面信息,在部分网友和 The Verge 看来都更像是「生成图像」而非「照片」,都是违背摄影本质和初衷的。

这并不是海外社区第一次出现围绕相关问题的讨论。2021 年 Input 就发布过一篇文章质疑 Galaxy S21 Ultra 在拍月亮这件事情上的算法。从那篇文章给出的对比样张可以看出,S21 Ultra 所拍摄的月亮即便是与专业单反拍摄的相比也毫不逊色,考虑到二者在硬件素质和光学原理上的实际差距,这种表现显然是不合常理的。

1
1

上:S21Ultra,下:索尼 A7R III

而在国内,类似的话题则可以进一步往前追溯到 2019 年 4 月——当时的爱否科技主笔王跃琨通过微博质疑华为 P30 Pro 拍月亮「好像是 P 上去的」,由此引发轩然大波。比较遗憾的是,在公关、网友等多方势力的参与下,相关事件的讨论最终落在了「P 图这个说法有歧义/不严谨,是否在煽动用户情绪」等问题上,并未得到更多有意义的展开。

相比之下,三星这边倒是针对类似的质疑做出过官方回应,虽然没有直接解答「月亮是不是 P 的」这个问题,但官方分享的技术细节还是能让我们多少明白那些以「长焦拍摄能力」为卖点的手机是如何拍好月亮的。

根据 2022 年韩国三星论坛的一篇官方博文分享,在拍月亮的过程中发挥主要作用的是三星相机的「场景优化器」。场景优化器就像一双有 AI 加持的眼睛,可以根据实际拍摄对象调整相机参数,尽可能保证理想的成像结果。并且从 Galaxy S21 开始,三星向场景优化器中加入了「拍月亮」这个场景,借助各种训练图像「喂」出来的模型,手机可以在变焦后识别月亮,然后通过多帧合成、超分辨率技术对拍摄的结果进行「优化」。

1

在三星的相机设置中关闭「场景优化器」可以获得没有 AI 算法修饰的照片,但同时你也将失去相机自带的文档和文本扫描功能

三星分享的具体流程如下:

  1. 打开相机的「场景优化器」
  2. 变焦到 25 倍以方便相机识别月亮,否则可能因为月亮太小而识别失败
  3. 如果相机成功识别出月亮,屏幕亮度会变暗,以便用户可以在相机预览中看清月亮
  4. 相机同时会将对焦距离设置为「无限远」,并调整曝光
  5. (如果因为手部抖动无法顺利对焦,则会使用变焦锁定 Zoom Lock 功能,调整传感器的光学防抖部件消除手抖)
  6. 当相机预览中的月亮清晰可见、不再抖动时,用户可以按下快门
  7. 按下快门后,相机会再次确认是否拍摄的是月亮,而后通过多帧合成,尽可能使得画面有足够亮度的同时减少噪点
  8. 然而多帧合成得出的照片依然不够好,三星相机最后会应用一套专属的细节增强算法,再一次降噪和增强月球表面的细节

可以看到,在这个流程中人工智能算法在拍摄过程中其实就介入了对象识别,包括控制拍摄时相机曝光参数的「拍月」专属优化;拍摄完照片后,算法海会再次识别是否拍摄到月亮并直接介入进行图像润色。

除了对算法干预、虚假营销方面的批判,伴随本次 Galaxy S23 Ultra 相关讨论的还有一些更为深层的观点。比如不久前才在社交平台上称赞过三星 Galaxy S23 Ultra 拍月亮效果惊人的知名科技博主 MKBHD,在其最新一期视频中提出了「我们所说的『照片』究竟是什么」这样的问题。

的确,自多帧合成算法大规模普及以来,我们在照片里所看到的那一瞬间很有可能无法与现实世界真实场景所对应上:这一帧太暗就多合成几帧,这一帧太模糊就用另外一帧……算法的介入不可避免地模糊了手机影像与传统摄影对「真实」这一认知的边界。

有人希望记录当下,也有人希望能够一键直出、拍出能够直接拿去发朋友圈的照片。而这中间的平衡点在哪里?哪些是算法可以干预的?

本文就提供了其中一种观点。


Matrix 首页推荐

Matrix 是少数派的写作社区,我们主张分享真实的产品体验,有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章,展示来自用户的最真实的体验和观点。

文章代表作者个人观点,少数派仅对标题和排版略作修改。


一切的一切都起源于这一天:

我出门飞无人机,想着可能没什么别的东西需要拍,就没带相机。在我飞完无人机之后发现夕阳和晚霞的质量简直爆表,对这种可遇不可求的场景我当然是选择记录下来,于是鄙夷且勉强的掏出了我已经用了两年多的普通华为手机——发布于 2019 年 6 月的华为 Nova 5 Pro。我打开华为相机的专业模式,然后点击了文件记录格式——RAW。

我拍了三张照片。

当时拍完之后就把手机装好,心里还在想今天没带相机出门真的是错误的决定,直到我连上手机,看到了 91MB 的 DNG 格式文件。心情忐忑的打开了 ACR,开始调色。 

1

最终调出的效果着实让我大吃一惊。

1
1
1

我是一个挺不喜欢用手机来完成摄影作品的人,直到这一天之后,我开始重新思考手机摄影和相机摄影之间的关系,以及,如今这个时代我们是否可以用手机代替相机来完成摄影作品。

什么是计算摄影?

计算摄影在维基百科上的定义如下:

计算摄影是指使用数字计算代替光学处理的数字图像捕获和处理技术。 计算摄影可以提高相机的功能,或引入基于胶片的摄影根本不可能实现的功能,或降低相机元件的成本或尺寸。 计算摄影的例子包括数码全景的相机内计算、高动态范围图像和光场相机。 光场相机使用新颖的光学元件来捕捉 3D 场景信息,然后可用于生成 3D 图像、增强景深和选择性散焦(或「后对焦」)。 增强的景深减少了对机械对焦系统的需求。 所有这些功能都使用计算成像技术。 计算摄影的定义已经发展到涵盖计算机图形学、计算机视觉和应用光学等多个学科领域。 

这是一段比较晦涩难懂的句子,但是其中的很多东西实际上都是很日常在使用的技术,比如多镜头手机上的浅景深虚化,手机的自带美颜,手持夜景,全景照片等等,其实都是计算摄影的体现。

更进一步来讲,手机的计算摄影功能在相机上其实早有体现,只不过因为相机的处理器和续航能力比手机差的太远,导致许多相机厂商砍掉了这些功能,比如索尼的 α 系列,曾经用的是魔改版的安卓系统,它的内置升级应用的安装包全都是 APK 格式。

1

索尼 α7 系列 app

相机和手机的计算摄影到底在哪方面不同?

这就首先要从照片的成像原理说起——

1

光线穿过镜头 → 成像到 CMOS 表面 → CMOS 把图像转换为电信号 → 模数转换器把电信号转换为数字图像原文件

理论上这种转换的每一个步骤都会对成像产生影响:镜头素质差会影响照片的颜色和锐度、CMOS 转换电信号时不同的读出方式会影响照片是否产生卷帘效应、不同的防抖方式会影响果冻效应的轻重等。

先讲讲镜头的影响

如今的手机相机系统的因为考虑到手机的薄厚度以及保持高度的集成一体化,基本上是靠多个定焦摄像头 + 数码变焦来实现拍摄功能:

1
1
1
1

上图是我常用的测光软件 Light Meter。我在无意中发现它可以单独调用手机上的数个摄像头,上面的四张图就是我的 Nova 5 Pro 四个镜头单独拍出来的效果,可以看到这几个摄像头的分辨率,色调,焦段全都不一样。而现在多摄像头手机给予了手机更大的图片景深、更快的对焦能力和重新对焦能力,还有更好的画面清晰度。比如在这个多手机摄像头系统中,可以看到有些摄像头负责广角(右上),有些负责微距(右下)。

相比相机来说,我个人觉得多摄像头系统其实挺有意思的,手机的光圈很小,而且是固定的,这就意味着摄影的时候少了一项重要的调整参数和可控制的景深,对光的控制能力很弱,而多摄像头系统实际上用了不同的焦段合成,在手机的这种有限空间内弥补了一部分差距,获得不同的景深。

数码变焦与光学变焦的区别

数码变焦其实和拍完一张图片之后在手机图库里缩放是一样的道理,因为定焦头能拍到的像素只能有这么多细节,就好比像矢量图和位图的区别。而光学变焦是靠镜头本身的镜组移动去拍摄需要放大的景物。现在好多手机应该都是数码变焦,相机拉到十倍二十倍糊的画面简直就没法看了,但是相机好歹还是会有各大变焦镜头支持光学变焦。

手机与相机的防抖功能

光学防抖功能可以延长曝光时间,同时最大限度地减少相机抖动模糊,但无法控制由主体移动引起的模糊。现在手机的防抖往往是多种不同的防抖功能集合,甚至还有大厂把「微云台」装进手机里,各种电子防抖加光学防抖还有陀螺仪防抖,iPhone 的移动 CMOS 防抖等等,层出不穷。而相机其实在拍摄的时候也需要带三脚架或者云台进行额外的稳定,之前看过有 up 主用了华为的五秒手持夜景,其实拍出来的效果还真的挺不错。

接下来讲讲 CMOS 的影响

CMOS 的大小往往决定了照片的四项素质:

  1. 感光性能,CMOS 图像传感器的尺寸越大,则成像系统的尺寸越大,捕获的光子越多,感光性能越好,信噪比越低;
  2. 像素总数和有效像素数,有效像素越高,生成图片尺寸越大;
  3. 像素密度,像素密度是每英寸所拥有的像素数量;像素密度高,有利于提高整个图像传感器的有效像素数,从而提升图像的生成尺寸;但是像素密度过高,会导致信噪比下降,也就是导致图像细节不够清晰,并且容易产生更多的噪点;
  4. 宽容度,宽容度是指照片所能有效记录景物从最亮最暗的明暗跨度范围。

现在的手机在 CMOS 比相机小很多的情况下,常用的计算摄影功能基于多张拍摄 + 堆栈合成 + 超级采样这样的一套流程。

而这个原理其实和半画幅甚至全画幅摄影通过后期堆栈提高像素的道理是一样的,我用的是比手机 CMOS 大不了多少的 APS-C(半)画幅,在我摄影后期的过程中,因为我需要弥补我 APS-C(半画幅)像素、宽容度、分辨率的问题,所以如果我遇到大光比的景色,我会调整曝光然后多张堆栈合成。比如这张我在拍摄日落,首先让高光过曝,保留暗部细节,然后再拍一张保留高光细节的照片,最后堆栈平均值合成。

1
1

最终得到的画面如下:

1

如果我想要获得一张图片内所有东西都清晰的图片,我可以用对焦堆栈的方法(有些相机机内自带)通过调整对焦点拍摄多张图片去获得一张全焦图片,而这个功能实际在手机上很早就实现了。

但是堆栈其实也不是万能的,拍摄静物或者运动比较小的物体的时候,堆栈勉强还能靠算法打一打,但是在处理运动物体的时候,堆栈就起不到什么大作用了。

拿我以前拍翻车的素材来讲

1

图片压缩过了糊的厉害,不压缩传不上来

当时的海面风浪还是比较大,我是想靠手持我的相机疯狂高速连拍多张,然后后期堆栈让海面呈现出那种平静的效果,这张只堆栈了十张我就放弃了,因为我在前期拍摄的时候没有发现里面有几处红旗,当天的风又很大,红旗的飘动影响到观感。

1

可以看到红旗处出现了奇怪的虚影,周围的房子也模糊了

这只是一个例子,现在我们换到手机,相信大家在用手机拍摄运动物体的时候很多次都会出现画面虚影甚至是整个糊掉(不然网上为什么那么多奇怪的表情包),其实这就是手机拍摄功能的短处,因为手机在利用算法尽量把画面对齐,在处理高速运动物体的时候,手机确实没有相机快门优先档这么好使。

在后期图片的时候,现在手机上虽然有很多修图软件,但是实际上这些软件只能做一些最基础的调整,而且对图片的质量也无法保证。更何况手机的后期处理算力比不过电脑,手机是利用自身的处理器实时合成,而相机拍摄完需要在 PS、LR 等图片处理软件上利用电脑的算力进行处理,就拿合成 HDR 全景图或者 RAW 文件堆栈来讲,几十张一百张几十 M 的 RAW 文件进行处理,最后堆出来一个一亿甚至几亿像素的恐怖照片,这恐怕是手机没法做到的。

惯例,放张图,以前拍摄的工厂,HDR 全景合成出来大约一亿像素。

1
1

图片右边的那个塔,放大倍率 150%

说了这么多,手机到底能不能完成摄影作品? 

我的答案是能。

虽然手机的镜头组素质不高,手机的感光元件受限,对光的控制能力也不强,它的计算摄影也不是万能的,后期算力也比不过电脑。但是对于一个手机来说,这些东西都不重要,手机主要还是以便携为主,但是这些都不是问题,它满足的是一个快捷、方便的记录和分享需求,在如今互联网社交软件的这种几乎不怎么追求清晰度的情况下,对于一张摄影作品来说甚至色彩或者影调比清晰度更重要了。

手机摄影可以说是算一个摄影的新领域,要求创作者只能用手机拍摄,并且只能用手机上的软件进行简单的修改,有些比赛甚至要求不可以做任何后期修改,这些限制条件使得手机摄影的难度也提高了,当不用任何后期软件修改时反而更考验的是一个摄影人的基础功底和对光线的控制能力,其实比用相机拍摄更难了。

参考资料

关联阅读

> 下载少数派 客户端 、关注 少数派公众号 ,了解更妙的数字生活 🍃

> 想申请成为少数派作者?


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK