Deep Fusion(深度融合)是什么,如何开启?画质差别有多大(deepfusion功能在哪)
作为对强有力挑战者(华为)的回应,苹果花了大力气去提升iPhone11的拍照画质。首先让人注意到的当然是新的三镜头后摄系统,通过三枚没有妥协的1200万像素镜头及改进型感光芯片,光硬件性能就已经让iPhone11拥有比过往任何一代更为优质的成像。然而苹果认为硬件的提升还不足以让iPhone重回手机拍摄王者的宝座,于是他们利用全新A13仿生处理器超强的人工智能算力,成功打造出三个利用机器学习优化画质的拍照功能,分别是应对高光光宽容度的智能HDR拍照模式、应对中低光量室内拍照的Deep Fusion拍照模式及夜幕下的黑夜拍照模式。
作为对强有力挑战者(华为)的回应,苹果花了大力气去提升iPhone11的拍照画质。首先让人注意到的当然是新的三镜头后摄系统,通过三枚没有妥协的1200万像素镜头及改进型感光芯片,光硬件性能就已经让iPhone11拥有比过往任何一代更为优质的成像。然而苹果认为硬件的提升还不足以让iPhone重回手机拍摄王者的宝座,于是他们利用全新A13仿生处理器超强的人工智能算力,成功打造出三个利用机器学习优化画质的拍照功能,分别是应对高光光宽容度的智能HDR拍照模式、应对中低光量室内拍照的Deep Fusion拍照模式及夜幕下的黑夜拍照模式。
在iPhone11上市之初,搭载iOS13操作系统的iPhone11默认就支持智能HDR及黑夜模式。但是发布会上被单独列出一节说明的Deep Fusion拍照功能却直到昨天发布的iOS13.2 beta1版后才得以开启,也就是说苹果一直把iPhone11真正拍照实力给封印着,直到将来iOS13.2正式版发布的那天。到底什么是Deep Fusion拍照模式,我们怎么在iPhone上启用它,开启它后又有什么作用,对画质提升有多大帮助呢?
什么是Deep Fusion(深度融合)拍照模式,它的工作原理是什么
在iPhone11发布会上,苹果公司技术部负责人是这样讲解Deep Fusion拍摄模式工作原理的
1、当你按下快门时、相机先用较高快门速度捕抓4张短时曝光的照片(把像素冻结下来避免后续使用时产生模糊的影像)。之后再拍摄4张标准曝光时长的照片。而在快门被按下的瞬间,系统还会拍摄一张长时曝光的照片(获得更多暗部细节)。也就是说要完成一张采用Deep Fusion深度融合模式的照片,必须有9张特定的原片素材,如上图。
2、手机把四张正常曝光时长的照片跟最后哪张长曝光照片用某种方式合并,生成一张“合成长时间”素材
3、现在,Deep Fusion深度融合模式会选择一张细节最多的短曝光照片,与上文合成的那张“合成长时间”照片进行合并。
4、A13仿生处理器机器学习开启,以像素级精度开始分析并合并照片。至于融合这两个图像的方式,手机先对画面元素生成一系列权重评估,譬如天空、墙壁和地板等纹理不多的素材分得较低权重,对皮肤、衣服、织品等则给予较高权重,高权重元素会从某一张该元素细节最丰富的短时曝光照片中获得细节、从合成长时间照片里获取色调、颜色和亮度并用最高精度的高画质算法进行融合,而低权重的元素区域估计直接就拿合并长时间图片像素来做或使用低精度的快速算法进行融合(节省资源和时间)。
5、一秒后,所有运算完毕系统生成一张2400万像素的Deep Fusion照片(2.6MB HEIC文件)
从上文来看,首先Deep Fusion拍照模式需要手机进行大量的运算,甚至以A13仿生这么厉害的处理器也需要用1秒时间才能完成。如果你用Deep Fusion模式拍摄了大量照片,它的最终结果并不会立刻于相册里直接显现,而是会先以一张预览图片代替,等Deep Fusion运算完毕后才会用真照片取代预览照片。这也说明了Deep Fusion无法在突发模式下进行工作,这也是为什么iOS13里弱化了“连拍”模式在相机应用里的位置(我几乎都找不到这个功能在哪里了),就是为了避免跟三个需要高运算量的拍照模式相冲突。或许你也可以这么看,iPhone11是一位以慢打快的内家高手。
iPhone11里哪颗镜头支持Deep Fusion拍摄模式?
对于同样采用A13仿生处理器的iPhone11、iPhone11 Pro及Pro Max,手机会自动因应环境光暗的不同,让镜头选用合适的模式进行拍摄,但并不是每一颗镜头都支持Deep Fusion拍摄模式
广角镜头(主镜头) – 拍摄环境较为明亮时自动采用智能HDR模式进行拍摄,环境光在中等到偏低时自动采用Deep Fusion模式进行拍摄,环境偏暗时采用黑夜模式进行拍摄
望远镜头 – 大部分时间使用Deep Fusion模式进行拍摄,只有在拍摄主体非常明亮时选用智能HDR模式进行拍摄
超广角镜头 – 大部分时间会选用智能HDR模式进行拍摄,不支持Deep Fusion及黑夜拍摄模式
由此看来,如果你想体验Deep Fusion神奇的画质增强效果,首先必须是iOS13.2以后的固件版本,然后尽可能使用望远镜头来进行拍摄
Deep Fusion拍照模式如何开启,开启时会有提示吗?怎么知道我是否启用了Deep Fusion拍摄模式?
在iOS13里(至少是目前这一版本固件中),在相机App里只会对镜头启用“黑夜模式“于取景框左上方有明确的标识及功能开关,而Deep Fusion模式则是由系统按环境光量自行判定开启(无法人工干预),也不会在系统画面中做出任何提示。苹果方面表示不希望用户为了获得“更为清晰的图像”而感到困惑,三种拍照模式都应交由手机AI自动判断并使用,拍照本身就已经代表着手机可以获得的最佳质量。但在我们POPPUR看来,Deep Fusion模式(工作原理必须有长曝光采样)在高环境光下会失真,在低环境光量下无法工作,所以苹果就用AI判断开启来取代用户手动开启防止可能造成拍摄失败的问题。这也是为什么苹果不在拍照App里提供手动Deep Fusion模式开关的用意。所以哪怕Deep Fusion模式的确能产生高质量的图像,但用户不要刻意去追求它。如果你一定要追求极致的手机成像,哪么控制你的拍摄主体在适当的光量下是唯一的方法,因为在高光和低光下Deep Fusion的魔法就失灵了。
Deep Fusion能用在拍视频上吗?
既然Deep Fusion在合适的场景下能大幅提升拍照画质,哪它能用在视频拍摄上吗?答案是否定的,正常的视频一般是30帧,就是一秒里需要拍摄30张照片,以现有A13运算性能处理一张Deep Fusion照片最快也要一秒钟时间,所以在Deep Fusion模式下是肯定不能拍视频的。
开启和关闭Deep Fusion模式后画质到底有多大差别
在把iPhone11 Pro Max更新到iOS13.2 beta1后,只要环境光符合,手机默认开启Deep Fusion模式拍照,现在让我们来看看开和没开Deep Fusion模式照片画质到底有多大差别
上图是同一部手机,拍摄同等位置照片放大来看(其实照片不放大的话,的确差别不明显,但一放大后就)。上图就是原图放大,没做任何锐化或对比度调整,这只要视力正常的人一看就能分辨出差别,一张图如果代表不了什么,请再看
用的广角镜头,原图裁切放大,没有Deep Fusion的汽车尾牌号都看不清,而Deep Fusion开启后尾牌号码清晰可见,另外代价留意右上方水泥地的质感和细节
大家留意哪两个水井盖,以及阶梯和白色木门的纹理细节,iPhone11 Pro Max开启和没开启Deep Fusion后的效果差异简直就像是1200万像素的镜头对比500万像素镜头那么大(画质差别至少跨越了4代手机的水平)。
看到这里,大家也明白了为什么DxOmark一早收到了iPhone11的评测样机,但到现在还没放出评分结果的原因了。或许在iOS13.2正式版出来前,他们都不会公布iPhone11/11 Pro的拍照得分,因为Deep Fusion功能对手机拍照画质的提升太过巨大了,你目前使用的iPhone11拍照顶多就发挥出5成功力。与此同时,我们还应该注意到Deep Fusion作为一种软件算法,并且叠加了人工智能的学习完善过程,相信在未来随着iOS固件的升级及手机自身学习的积累,这一拍照功能的成像效果仍将得到优化。
最后,我们打算给你揭露一个意想不到的结果。iPhone11的国内销量将随着iOS13.2正式版(Deep Fusion功能)的上线而逐步降低,甚至到了明年中国可能有一半人(女性)都不会购买这一被网红圈内戏称为“照妖镜”的超清晰拍照手机。于是乎在iOS14里,库克默默给手机加上了彻底关闭Deep Fusion功能的开关,并吩咐团队赶紧研究一个利用人工智能的Deep Beauty功能挽救iPhone12在中国区的销量…