一文看懂索尼CMOS传感器的各种对焦技术(纯干货建议收藏)

真义科技 2023-10-24 10:14:24
1,反差对焦

作为最早的自动对焦技术,其技术原理是最简单的,同时也是最自然的,因为人眼对焦所基于的原理也是反差式——通过大脑对画面的反差信息之判断从而调节晶状体的对焦。

“反差”的具体判断原理为:当物体不在焦内时,画面虚化成一个个弥散圆叠加在一起,此时弥散圆的半径远大于点,因此亮度和对比度都低;而当对焦准确时,焦内是一个个的点,画面锐利因此对比度高。

也就是说,对焦不准确之时,整个画面都是模糊的,没有明显的反差信息;而当对焦准确之时,焦点范围图像是最清晰的状态,而焦点之外的区域则表现为模糊状态,反差非常明显。

判断原理说完,那么具体的工作原理就很好理解了。当镜头对准被拍摄物体时,对焦模组的马达便会驱动镜片从底部向顶部移动,在这个过程中传感器会进行全面检测。

同时传感器还会持续记录所检测到的对比度等反差数值,当找到反差最大的位置后,运动到顶部的镜片便会回到这个位置从而完成最终的对焦。

在这个过程中,会看到取景框内容有一系列的模糊清晰之反复变化过程——与此对应的术语便是“拉风箱”。其优点是技术简单且成本低,但缺点也很明显——耗时太长了!

2,相位对焦 / 激光对焦 / TOF对焦

有趣的是,相位对焦(Phase Detection Auto Focus,简称为PDAF)技术其实也与人眼有关,只不过相关的是“人眼测距”原理——两个眼睛由于位置不同故接收光线会形成视差从而得知物体远近。

所以,手机CIS会设置一些“掩蔽式相位对焦像素”,即有些像素上面的彩色滤光片会被屏蔽一半(部分左边部分右边),每两个配成一对以模拟人眼检测光信号的距离信息。

然后检测到的信息会交给ISP计算相位差,最终计算结果出来之后就可以直接指引镜片移动到合适的位置以完成合焦。由于这个过程是一步到位的,所以实际的对焦速度明显比反差式对焦更快。

具体的计算判断过程如下图所示,从合焦的示意图中可以看出,投影在感光区的光线距离是一定的。

这个既定的数值,会对应一部分配对的相位对焦像素点——此为事先设计好的焦点检测基准(这是相位对焦的核心设计)。

在此基础之下,前焦状态(代表被摄物体距离近)所投射的较小间距便会显示波峰向中心偏移,而这个波峰的偏移量便是相位差。

根据波峰的偏移方向以及相位差信息,镜片就会知道移动的方向以及移动的距离。同理,后焦状态(代表被摄物体距离远)的工作方式照此反推即可。

虽然这种对焦方式不需要来回试探,只需一次镜片移动即可完成对焦,但为了提高对焦精度便需与反差对焦组合使用——先用相位对焦快速移动镜片再以反差式对焦微调。

理论上来说,用于相位对焦的像素越多则对焦速度越快,但由于被屏蔽的部分不参与成像,所以增加过多的相位差检测像素便会造成后期插补图像信息困难,使得图像画质下降。

此外,这些相位差检测像素的数量瓶颈又限制了暗光环境的对焦性能。为了解决暗光对焦问题,首先引入的是激光对焦传感器——其能发射红外光线进行物理测距从而辅助对焦。

但由于这种采用意法半导体方案的激光对焦有距离限制(一般2米以内),所以后面又出现了索尼的 TOF 对焦方案。

具体分两种,一种是原理与激光对焦一样的 dTOF 方案,但其功率更大故适合远距离对焦,这种方案比较普及(一般手机厂商还是称其为“激光对焦”)。

另一种则是成本更高的 iTOF 镜头方案,其通过投射面光源,再积存反射光和检测与光源的相位差,从而间接测定深度信息。

iTOF 方案适合中近距离对焦,但其精度更高。用在前置 3D TOF 人脸识别模组上的便是这种方案,另外一些顶级旗舰则会将其用在后置影像模组中参与混合对焦。

小过渡:

讲完了相位对焦的技术原理之后,终于可以长舒一口气了——因为后面所有的这些对焦技术之原理都与相位对焦有关!

但是,还记得相位对焦的两大缺点吗?

没错,下面登场的对焦技术就是奔着这两大缺点之解决方案而来的,所以那“老古董”的掩蔽式像素在这些对焦技术中将被淘汰。

3,全像素双核对焦 / “2×1 OCL”双核对焦

最先登上历史舞台的是全像素双核对焦,其直接将单位像素内的光电二极管(负责感光,术语为“PD”)增加了一个,从而形成了共享 OCL(片上微透镜)的双PD结构。

也就是说,这两个PD组成了全新形式的“眼睛”,通过双PD的“一开一合”获得了检测相位差之能力。同时,由于两个PD的信息可以相加,这样就能消除相位差的影响,最终获得无损画质。

很明显,通过全像素的双PD相位对焦,其对焦性能得到了史无前例的提升!关键其还能获得全部的进光量,所以暗光环境的对焦性能并不会有所削减,一个字形容就是“牛”!

当年三星 S7 系列靠着首发双核对焦之IMX260,结合Gen3架构先进的 DBI 技术、1.4微米大像素以及镜头的F/1.7大光圈,从而获得了逆天的影像优势——“夜视仪”称号可谓响彻机圈!

除了全像素双核对焦之外,还有一种以“2×1 OCL”为基础的双核对焦,也就是说有两个像素共用了一个大的微透镜并以此组成一对“眼睛”进行相位对焦。很明显,这种相位对焦的进光量直接翻倍了(没有掩蔽损耗)!

但是,由于这些“2×1 OCL”像素并不参与成像,所以其只能和掩蔽式像素一样部分存在于CIS上。这样看起来,好像并没有比全像素双核对焦牛啊,咋就冒出来了呢?

原来,全像素双核对焦啥都好,就是有两个缺点。首先就是其像素尺寸不能太小,否则就放不了两个PD,于是“2×1 OCL”双核对焦就冒出来了。

实际上“2×1 OCL”双核对焦在索尼CIS中并不普及(首发型号为绿厂定制的IMX398),因为索尼不喜欢小像素,这时候三星就站了出来——既然索尼君不稀罕那我三星桑就笑纳了,不过三星将其名字改为了“Super PD”。

后面三星又弄了个改进型的“Super PD Plus”对焦技术,其将那块大微透镜改为了聚光性能更好的形状,这样自然就提升了对焦性能。

知识插补:Quad Bayer 排列

为了讲清楚以下的对焦技术,这个知识点还是得补充一下的。如上图所示,Quad Bayer 排列的每个颜色之滤镜皆覆盖了四个像素,感觉好像是 Bayer 排列的“放大版”。

实际确实如此,那为何要“多此一举”呢?刚开始的时候,是因为像素尺寸太小滤镜工艺跟不上,只能采用这种“曲线救国”的方式,顺带还能在营销环节大肆吹嘘一波。

后面随着“卷大底”潮流的盛行,这种情况就不复存在了,但其依然没被淘汰——可见是有“真本事”的。下面就详细讲一下,其转为高像素模式的工作原理。

首先,Quad Bayer 排列要进行PD补偿和坏点补偿。然后由于所覆盖的子像素位置不同,导致感光能力有一定差别,所以就需要引入 Crosstalk 环节进行校准补偿。

具体来说就是将全图分成多个 ROI 方块,然后计算各像素通道的能量并确定其补偿数据,最终使用这些校准数据从而让原本不均匀状态的能量分布变得更为平衡。

落到实处的效果就是,Crosstalk 校准补偿可以去除由于信号差别造成的格子、锯齿状等色块干扰——这种干扰现象在拍摄单一色块时尤为明显。

经过这些补偿操作后,就正式开始进入 Remosaic 环节了,这个过程也分为三步。

第一步:利用插值算法,将 Quad Bayer Raw 数据转换为三组RGB数据。

第二步:再用将RGB Image转Bayer的算法,将其分解为三组Bayer Raw Image。

第三步:将三组数据合为正常的 Bayer 排列,并送到ISP进行“去马赛克”处理。

熟悉“去马赛克”算法的朋友,看到这个 Remosaic 环节估计会很熟悉,毕竟有些步骤是一样的。当然,这只是最基础的一套 Remosaic 算法。

后面随着 Quad Bayer 技术的发展,索尼还研究出了其它更先进的转换排列算法,另外大法一直都将算法库集成于CIS上,从而实现硬件级的 Remosaic 转换(当年三星的GM1就因为不具备这个硬件级功能闹出过笑话)。

至于其先天缺点——采样空间精度下降的问题,则是往后CIS厂商需要继续努力的方向。此外与其相关的还有一种名为“3-HDR”之技术,这个留待下期讲 HDR 技术的时候一块说。

4,全像素全向对焦

关于 Quad Bayer 的优点,刚才只讲到了一个“3-HDR”技术,但实际上接下来要说的这两个超牛对焦技术也与其有关。

全像素全向对焦亦名为“2×2 OCL”相位对焦,顾名思义就是一片微透镜覆盖了四个像素,结合 Quad Bayer 排列,那就相当于一片微透镜覆盖了一种颜色的滤镜。

既然一片微透镜能覆盖四个像素,那么这四个像素不仅可以分割成左右来检测相位差,还支持上下以及斜向的全方向对焦,这就是所谓的“米字”对焦。

上面谈到双核对焦两大缺点的时候,只说了一个,而其另一个大缺点就是对缺少图案变化的拍摄物体不太敏感。

这就好像传统单反上的“一字对焦点”,只能检测竖向纹理。

那要加强对焦性能该怎么办呢?首先就是增加横向纹理的对焦能力,组成“十字”对焦点阵列。

而最终的解决方案就是“米字”对焦阵列,实现全方向的立体对焦,这便是全像素全向对焦的诞生背景。

同时在暗光环境下,还可以利用“像素四合一”模式大幅增加进光量,故其暗光对焦性能亦无忧。这个超牛对焦技术的首发型号,是绿厂深度定制的IMX689。

既然这个对焦技术这么牛,三星自然不会错过,只不过其改了个名字——Super QPD。

不过,这样的结构有个很大的缺点。

由于一个微透镜下有四个像素,这样在 Crosstalk 校准补偿环节就会造成互调失真(很多光线浪费在了四个像素的交接中心处)。

于是索尼便展示了一下娴熟的半导体工艺技术,将微透镜稍稍位移了一下(OCLs Shift)。

这样就不会有大量入射光线往没有感光能力的区域跑了,而是在微透镜的作用下顺利进到每个子像素中。不过,还有一个问题没解决。

由于每种颜色的光线其波长不一样,这样在每个微透镜下面的四个像素中,由于没有阻隔便会造成光串扰,这同样会给 Crosstalk 环节造成麻烦。

没关系,针对这个情况,大法还是有办法。

其直接将四个像素用 DTI 技术隔离开来——这样就完美解决了所遇到的各种问题,顺带还增强了暗光对焦性能(下图所示)。

3,全像素八核对焦

全像素全向对焦看起来好像已经无敌了,实则不然,因为相位信息的缘故所以会损失小部分画质。也就是说这个技术,最适合的就是高像素数量、小像素尺寸的中型传感器。

如果既要维持高像素数量,又要上大型传感器(意味着像素尺寸增大),且不想让画质损失增大的话,那该怎么办呢?这时候就该轮到全像素八核对焦登场了。

全像素八核对焦是 Quad Bayer 排列与全像素双核对焦结合的技术,每个像素拥有2个PD,那么四个像素总共就是拥有8个PD,所以其英文名就是很直白的“Octa PD”。

按照索尼官方的说法,这个对焦技术最大的特点就是在进行HDR拍摄时,长曝光、中曝光和短曝光的所有像素皆能获取相位差。

这是3-HDR技术加双核对焦的效果,可以不受目标物亮度的影响,要知道全像素全向对焦都做不到这点!另外和全像素全向对焦一样,都享受到了 Quad Bayer 排列的高感光性能。

也就是说,这个技术的原理虽然简单,但效果非常牛;和全像素全向对焦之区别就是适用的传感器不同,并没有严格的优劣之分。

此外,从开头的 Quad Bayer 排列转 Bayer 排列之工作过程可以看出,全像素全向对焦和全像素八核对焦的性能并不会受到像素转换过程的影响。

所以在这两个对焦技术的使用过程中,并不存在“默认合成模式”和“高像素模式”的对焦性能差异。同样超牛的这个对焦技术,其首发型号是华为深度定制的IMX700。

实际上三星的传感器也有全像素八核对焦,只不过其绿色子像素的光电二极管是斜切划分,并以此获得全向对焦的能力和“Dual Pixel Pro”的名字。

总结:

反差对焦——可以精准找到对比度最高的对焦点并自动对焦,技术既简单成本又低,缺点是耗时过长。

相位对焦——能够根据相位差信息计算出对焦点从而快速对焦,缺点是掩蔽式像素有损画质,至于暗光对焦性能差的缺点则可通过激光对焦或者 TOF 对焦弥补。

全像素双核对焦(Dual PD)——通过像素内的双PD独立获得相位差从而让全像素参与成像与对焦,缺点一为要求像素尺寸要比较大,缺点二则是缺失了横向纹理检测能力。

“2×1 OCL”双核对焦——通过部分不参与成像之共享微透镜的双像素获得优秀相位对焦能力,这个技术是针对 Dual PD 之缺点一而设计的,但其自身的缺点与相位对焦类似。

全像素全向对焦(2×2 OCL)——通过 Quad Bayer 排列与共享微透镜之四像素的结合获得高感光性能和全向对焦能力,从而解决了 Dual PD 的缺点二。

全像素八核对焦(Octa PD)——通过 Quad Bayer 排列与 Dual PD 之结合获得高感光性能和超牛HDR对焦性能,从而避开了 Dual PD 的缺点一,并削弱了 Dual PD 的缺点二。

8 阅读:702
评论列表
  • 2023-10-24 22:19

    有心了,太长没看

  • 2023-10-26 09:19

    个人认为,螺蛳壳里做道场,手机摄像头传感器不能太大,还是要靠算法加持,这方面华子不错,反观大法的手机,硬件很好,拍出来一般[得瑟]

  • 2023-10-24 22:46

    这是我能看懂的吗?

  • 2023-10-24 22:20

    我竟然看完了