从计算摄影到计算光学,华为P50彻底改变了手机影像行业的未来

从计算摄影到计算光学,华为P50彻底改变了手机影像行业的未来

7月29日,在迟到了4个月后,华为今年的影像旗舰P50系列发布,无论对于华为消费者业务还是对于国人,P50已不再只是一款简单的手机产品。

对于华为手机而言,P50系列饱含着倔强的精神,对于中国科技

和国人而言,P50系列可能代表着中国科技力量自立自强的勇敢和不屈的精神。

一句话 记录了一个时代

当然作为开创了全球手机拍照时代的华为P系列手机,这次P50系列带给行业和用户的,是颠覆传统的全新的手机影像技术体系,而这一体系,将让手机摄影迎来一个全新的时代。

手机影像的发展及华为P系列的影像历程

回顾华为P系列的产品发展,我们可以清晰得看到,中国企业在手机领域除了在芯片、操作系统之外,在手机影像领域从跟随到引领全球产业发展的技术演进之路,看到未来手机影像如何去改变我们记录生活的方式。

2016年,华为P9横空出世,这款搭载了由华为和徕卡合作研发的1200万像素双摄像头手机,同时使用了全球首款专用深度学习芯片和全新ISP芯片,不仅极大地提升了用户的拍照体验,更是将手机拍照从将就变成了可用,让手机影像从简单的清不清楚,变成了可以获得更好清晰度和色彩、影调的记录工具。随后华为发布的P10,第一次真正实现了对人像拍照的关键性突破,“人像摄影大师”的名号实至名归。

2018年,P20系列上市,依靠先进的4000万像素的三摄组合和三倍变焦,在影像质量上有了大幅度的提升,改写了DxOMark全球手机拍照排行榜一直被国外手机占据的历史。从此,DxOMark最佳拍照手机就成了华为和中国手机展示影像技术实力的“中国榜”,同时也让华为的手机影像系统开始全面领先于全球手机产品。

P30的出现在手机影像行业是革命性的,通过5倍变焦和RYYB阵列的搭载极大地提高了小模组的进光量,从而让手机拍照有了点单反的感觉,手机影像也从此开始不再只是简单的采用传统数码单反的技术思路,通过算法和不同的硬件组合开始独立发展。

2020年华为P40问世,这在手机影像领域具有划时代的意义。一直隐藏在华为手机背后的计算摄影的核心技术XD Fusion图像引擎从幕后走到了前台,让行业终于可以看清一直以来华为不断突破手机摄影的技术极限的根本原因。“在XD Fusion出现之前,手机影像仍然遵循传统单反的拍照逻辑,那么在XD Fusion出现之后,手机摄影已完成了从传统单反拍照技术逻辑向以计算为主的新的手机影像逻辑的转变。”

对于摄影而言,无论是手机摄影还是单反或者微单,其实都是由两个核心部件组成,一个是以CMOS为核心的成像模组,另外一个就是负责光学影像传递的“镜头”。在华为手机影像的发展史中,通过五代产品在算法和色彩层面的不断突破,基于CMOS成像模组的技术发展已接近于成熟,如果要进一步提升手机摄影的图像质量,在“镜头”产业技术无法有大的突破下,如何发挥现有镜头产品和技术的最大能力,可能是手机摄影最后的一个技术突破方向。

7月29日发布的华为P50系列,则让手机摄影从光学成像信息在传递过程中的信息损失的还原方向,开辟了另外一条打开手机影像系统全面提升的通道,同时也由此构建起了手机影像系统完整的技术体系。

华为P50在手机影像领域的突破性技术——计算光学

在影像领域,无论是单反还是手机摄影,其核心仍然是如何将光信号变成电信号的过程。在这个过程中,简单地理解,镜头是负责光信号传输的设备,而以CMOS为核心的模组,则是将光信号转变为电信号的设备。所以提高图像质量,一方面是需要提升CMOS的面积以及由此形成的基于DSP的还原算法,另外一个可以提升图像质量的方式就是提升镜头的质量。

提升镜头的质量,这在单反领域并不太难,通过不同的镜头材质可以有效地改善镜头的分辨率、色差、场差等光信号传递过程中的损失,但这样的高素质镜头,都是以极高的成本和急剧提升的重量和体积为代价的。这一技术路线,显然无法在手机狭小的空间里实现。近几年手机行业,虽然通过不断增加摄像头数量和增大CMOS面积可以些许改变一些影像质量,但通过硬件规格和数量的提升终归是有尽头的,当手机摄像头增加到5摄,不仅带来了体积的增加,同时多摄像头的组合也给统一色调、影调的算法带来了更高门槛。

手机影像要突破硬件带来的束缚,必须要另辟蹊径。

在华为P50系列上,华为开创性地采用了计算光学(XD Optics)的技术,通过与镜头厂商的密切合作,在一个镜头模组设计之前和生产出来之后,通过设计上提前预测和后期测量,得知该镜头光学的特性,再通过算法来提前预测光路导致的像差损失,从而改变“调制传递函数(MTF)”,来最大程度地还原在光信号传递过程中的损耗。任何光学镜头都是存在缺陷的,不是设计和制造水平达不到要求,而是从光学理论来看,光在传递过程中一定会出现彗差、球差、色散等问题,如何将光信号在传递过程中损失的信息重新找回来,就是计算光学技术核心解决的问题。由于光路是可逆的,就能知道某个指定波长的光线经过某一镜头、经过什么样的方式之后,输入和输出光线的差别,就可以通过算法弥补光学系统本身的一些损失,这就为计算光学提供了广泛的想象空间。

据华为相关人士介绍,在计算光学上,华为已经进行了很多年的研发,在P50上终于完成了革命性的突破。

在计算光学的技术方面,刀客与华为技术人士进行了相对深入的探讨。他表示,用P50 Pro的潜望镜模组来说,在图像进入光学器件的过程中会损失50%的图像信息(这个损失非常大),如果没有计算光学参与,只能通过后期图像信息处理技术来提升(XD Fusion)。以前没有计算光学时的图像处理,叫半段式图象处理,按照半段式,前面的光学部分损失50%,后面想办法做还原、恢复,最多只能做到60%图像原始信息的恢复。而在P50系列手机上,计算光学的加入,可以多还原25%的图像信息。从以前半段式还原60%的图像信息,可以提升到81%,这是很大的进步。在不占用过多手机空间的情况下,就能获得高性能镜头模组带来的成像质量。

这些理论,在华为P50系列手机上得到了验证,从实际拍照样张来看,在高频信号覆盖的区域,图像的反差和清晰度有了明显的提升。这也证明了,通过计算光学,可以有效改善镜头的MTF曲线,特别在10线对的区域,可以有效提升图像的反差。华为方面表示,“据测算,P50 Pro的潜望镜MTF表现在计算光学技术的加持下,(传输光量)最多可以翻倍,尤其在草地、树叶、远处建筑物轮廓等带有高频信息(反差)的场景,图像清晰度增强了很多。”

计算光学(XD Optics)在手机影像领域的应用,为手机影像的发展提供了一条全新的技术路线,同时这一技术,并不仅仅可应用于手机影像,对于单反甚至整个影像领域,都可以提供一条低成本提升影像质量的技术方向。

三、华为P50用全新技术思路构建手机影像的技术体系

P50系列在影像方面的突破,还有一个重要的技术方向也同样值得重视,这就是影像系统中的色彩还原,华为在P50系列产品中引入了“原色引擎”单元。通过10通道的色温传感器,环境光谱的提升率比以前提升50%,再加上色适应模型实现了软硬件高度协同,从而让成像色彩所见即所得,无限接近自然界的光谱,色彩更精准、分辨率更高。

与之前行业通行的标准白平衡校准不同,这次华为在原色引擎上,采用了全新的技术思路。在传统白平衡校准方式中,想拍颜色非常准确的照片需要手动设置白平衡,先拍一张白纸做基准,然后再拍我们所需要拍摄的主体,主体色彩和环境色彩都会以这张白纸作为基准进行校正,这么做的结果的确把视野里面的白色拍成纯粹的白色,但事实上我们人眼看到的可能并不是这样,人眼感受的色彩会随着环境色彩发生变化。

在原色引擎上,华为拟合人类感知色彩的流程(人类感知色彩有两部分:一是人眼看到,二是人脑处理)。模拟人眼的部分做了独特的色彩空间的转化,图像传感器和多光谱传感器获得环境信息后,把RGB转为CIE-XYZ色彩空间,再进行人脑环节的模拟,使得光源色彩变化时保持感知到的物体色彩尽量恒定,这就实现了拍摄的图像基本上和我们人眼看到的一样。

原色引擎的引入,让手机摄影在色彩表现上更加能真实的还原人眼所感知的影像,甚至为整个影像行业的色彩还原提供了一种全新理念。

在华为的影像技术体系中,计算摄影(XD Fusion)经过多年的技术演进,已经成为计算摄影方向最有技术发展前景和价值的图像引擎。在多镜头不同维度的信号输入之后,XD Fusion Pro系统的计算机视觉单元开始进行不同画面的语义识别,并通过设定标准进行不同场景的识别和主要特征的识别,比如说背景中的草原、蓝天、树林,以及拍照主体的人物、动物或静物花卉,并重新结构化背景信息、主体及主体形势等一系列画面要素。

经过重新结构化的画面信息,在神经网络处理单元会重新组合,并根据已经经过大量数据训练过的算法模型进行进一步的画面优化处理,不同画面构成的归一化处理,包括准确的白平衡、锐度、色彩饱和度、以及局部(比如脸部)的个性化特征处理。这是一种像素级的基于深度学习的处理,画面质量与输入的信号有了天壤之别。

由此,华为通过P50系列产品,将计算摄影的各个环节全部打通,通过计算光学,重构了物理镜头的调制传递函数(MTF),找回了在光信号传递过程中的损失,再通过XD Fusion,对多镜头的多维信息进行了图像的数字化重构,最大可能的发挥了各CMOS的光电转换的能力,同时通过原色引擎,让图像在色彩方面更加符合人眼观察到的色彩,实现了真实世界在手机上的全新图像重构,这一技术体系,形成了完整并极具价值的手机影像发展的技术路线。

如果说P40之前,在计算摄影领域,华为和苹果是这一行业并跑的两大玩家,那么随着在P40上全面释放的XD Fusion图像引擎的出现,让华为在手机计算摄影领域的领先优势得以巩固,到日前发布的P50,华为在计算摄影领域,形成了完整的技术体系,构建起了未来计算摄影的产业技术规范。

华为以计算光学(XD Optics)、计算摄影(XD Fusion)以及原色引擎形成的计算摄影的技术体系,完整的解决了镜头在光信号传递过程中的损失,XD Fusion Pro图像引擎让光信号通过深度学习算法最大可能地还原了图像信息,配合原色引擎实现了“真实”色彩的数字化重构,这一技术体系,不仅改变的是手机摄影领域,未来极有可能成为影像行业发展的里程碑。返回搜狐,查看更多

责任编辑:

发布于:云南红河个旧市