键摄者说⑫：从“真假4800万像素”说开去

前言

并且由于手机拍照自身的特殊性，ISP的地位相比相机的影像处理器来说高得多。对于相机来说ISP甚至可以不需要（传感器有输出RAW文件的能力，然后直接以无压缩RAW格式记录，后续做后期处理即可），但是手机不行，直出和各种功能是手机相对于相机最大的竞争力之一，这对于CIS和ISP的配合要求就非常重要。换句话说，CMOS的输出必须能够匹配手机CIS的支持格式，不能像封闭的相机系统那样为所欲为。

综合上述两种原因，我们可以在手机CMOS上看到很多在相机中未曾使用过的骚操作，这些技术有些会随着大尺寸制造的成熟而用在几年后的相机上，有的不会。所以了解一下手机CMOS的最新技术，对于影像产业发展方向的预测和分析，也是大有帮助。

近期手机影像圈比较火热的两款CMOS产品毫无疑问就是索尼IMX586和三星S5KGM1，也就是所谓的“真假4800万像素”之争。借着这两款产品正好这一次也跟大家从我的角度分析一下“真假4800万像素”这个问题，同时顺便展开说一些其它的东西。

什么是像素？

要讨论真假4800万像素，自然就得先梳理一下“什么是像素”这个最基础的定义问题。可能对于大部分人来说，（图像传感器的）像素就是下面图上所示的一个个点：

图像传感器上的每一个点（光电二极管）就叫作1个像素，有多少个点就叫多少个像素。这个数值决定了传感器的分辨率，所以一直以来就是图像传感器的基础参数，无论对于手机还是相机来说都是如此。

按这个标准来说，索尼IMX586和三星S5KGM1都是毫无争议的4800万个光电二极管：

但直接用像素数量来对比分辨率的话实际上是需要一个前置条件的，那就是：被对比的图像传感器采用相同的像素排列方式。

索尼IMX586和三星S5KGM1采用的都是被叫作Quad-Bayer的像素排列，跟传统拜耳阵列（最上面那个图）相比相当于是把原本1200万Bayer阵列的传感器像素一分为四，从光电管数量上来说是4800万没错，但要说它跟拜耳阵列的4800万像素一样，那也不太对。

可能关注手机圈比较多的粉丝会清楚手机圈经常在屏幕上提到“等效ppi”的概念，目的就是把不同排列方式的屏幕像素都换算成标准RGB格式的屏幕像素来进行比较。但在图像传感器领域，因为拜耳阵列占据了绝对的统治地位，很少有厂商或者媒体去考虑不同排列之间换算的这个问题。

而且实际上屏幕输出的像素就是你看到的那些，但相机传感器输出的图像可能会被经过欠采样插值之类的操作，这就使得这个问题进一步复杂化了。

不过了解一些键摄常识的同学或许可以想到，通过信号学的思路，我们完全可以从“空间采样频率”来出发去定义一个等效像素，这样的话既可以统一不同方式的像素排列产生的影响，又可以规避后期插值产生的问题。比如一块5000万像素、无低通滤镜的拜耳阵列图像传感器，明度采样频率由绿色像素决定，其上有2500万个实际的绿色采样点，所以有2500万等效像素。

适马SD1 Quattro的Foveon X3传感器明度采样频率由最顶层的蓝色像素决定，一共有1960万个蓝色像素，所以等效像素1960万；

索尼A7R3通过四帧“摇摇乐”输出的一张照片里有4240×4/2=8480万个绿色像素来执行明度采样，所以等效像素8480万（这是一个实际像素、等效像素和输出像素三者不相等的典型案例）。

当然更典型的案例就是视频，视频由于标准编码格式的限制大家输出的大小尺寸都一样（比如4K 16:9就都是3840×2160），但是参与采样的像素数量可以不一样（也就是所谓的“超采样”）。同理我们可以定义索尼a7m3的4K视频等效像素为1012万，佳能EOS R的4K视频等效像素为415万，所以a7m3的4K视频清晰度远好于EOS R。

当然了，这个等效像素的定义基于以下的两个前提：

1、人眼对色度通道信息不敏感，对细节的分辨主要取决于明度。

2、忽略各种排列的反马赛克算法不同造成的影响。

以及一个之前反复强调但是还要再说一次的事情：（对于理想传感器、同样的输出幅面而言）高ISO画质与本节定义的等效像素无关，独立取决于传感器的总面积。

所以要严格对比图像传感器画质的话这种方式并不适用，但是做简单的定性分析完全OK，所以我们就按照这种思路，来看一下索尼IMX586和三星S5KGM1。

两种不同的Remosaic与其等效像素

实际上对于PD/CFA层来说三星S5KGM1与索尼IMX586完全相同，都是同样的RGGB×4 Quad-Bayer排列。FD和ADC以及附属电路部分由于两家的技术差异存在不同，但这不是今天要讨论的重点。

我们前面说了，对于手机CIS来说，与手机ISP的配合是非常重要的。这两种传感器的Quad-Bayer属于特殊排列，但绕不开的问题是由于拜耳阵列占据了多年来的绝对主流，现在绝大部分的手机ISP都只认Bayer而不能直接识别Quad-Bayer输出的信号，在下一代原生支持Quad-Bayer的ISP出现之前，这两块手机CIS都是通过被叫作“Remosaic”的的方式，将Quad-Bayer信号转换成标准拜耳阵列，给手机ISP进行处理。

但具体实现的方式存在很大不同，这也是所谓“真假4800万像素”争端的起源。

三星S5KGM1的实现方式比较简单粗暴，直接把Quad-Bayer的像素四合一输出，此时实际输出的就是1200万像素的RGGB信号，对于ISP来说是透明的，跟使用一块普通的1200万像素CIS（比如IMX380）并没有什么不同，等效像素都是600万，当然也实现不了什么额外的功能。

至于红米note7的4800万像素模式？没人规定600万等效像素的CIS不能输出4800万像素的照片啊。

索尼方面官方给的信息比较模糊，甚至会给人一种“像素重排黑科技”的感觉。

什么中间过程都没有，突然4800万像素Quad-Bayer就变成了4800万像素Bayer，是不是特别神奇？

当然了，这种玩魔方式的CFA位移是不可能的，地球上还没有这么黑的黑科技，那它具体是怎么实现的呢？有效像素是多少呢？

通过某种非四合一Quad-Bayer转Bayer的Remosaic算法我们可以初窥端倪：

首先找到十字形的一组绿色Quad-Bayer像素

根据这四组像素的数据补齐另外的五组像素，得到一个6×6的阵列

抠掉一半像素变成拜耳阵列的绿色基底

红蓝色像素类似处理

抠掉原来绿色像素占的区域

合成，变身成功

这个图示里的插值算法是Cubic Spline36（三次样条曲线36），实际可能受限于算力会有所出入但是像素层面的操作基本一致，每6×6=36个像素里实际空间采样的绿色像素为2×2×4=16个，也就是说4800万像素的、带有类似Remosaic算法的Quad-Bayer IMX586，其等效像素可以认为约4800×16/36=2133万，相比直接四合一输出的三星S5KGM1的600万等效像素而言高了很多，而且这整个过程都是集成在CIS里的小型DPS完成的，输出的信号格式是4800万的Bayer Pattern，对于ISP来说完全透明，只需要ISP支持4800万像素拜耳阵列的传感器就可以使用，无需等待ISP支持Quad-Bayer，就可以享受高像素传感器带来的福利。

图源：Bilibili 爱搞机

三倍多的等效像素差异之下，即使是手机的针孔镜头差异也是非常明显的。当然了从上面的分析中我们也可以看到即使是内建带内插法的Remosaic，其实际等效像素也还是不如传统4800万像素的拜耳阵列（等效2400万像素），考虑到内建DSP的效能有限，这个内插过程应该用的是比较低级的线性插值方法来做的，精度方面会有进一步损失。不过好处就是不需要专门为了Quad-Bayer去定制ISP，用普通支持高像素拜耳阵列的ISP就可以，无形当中相比IMX600，IMX586降低了这种高像素手机CIS的使用门槛，让更多人可以享受到科技带来的福利。

所以回到开头的问题，索尼IMX586和三星S5KGM1到底谁是真4800万谁是假4800万？

或许比较严谨的结论就是，大家都是真正有4800万像素（PD/CFA）的传感器，只是为了兼容现有的手机CIS，输出正常拜耳阵列信号的方法不同，导致最终的效果存在比较大的差异。

还有一个悬而未决的疑问就是三星S5KGM1到底有没有直接输出4800万像素Quad-Bayer信号的能力，还是只能输出四合一的Bayer信号？这或许只能等后续支持Quad-Bayer的ISP+三星S5KGM1 CIS组合的手机出现才能知道了（或许永远都不会有）。

总结与展望

实际上在相机领域Quad-Bayer CFA也不是什么新鲜玩意，之前松下GH5S上的IMX294就是一块m43尺寸的Quad-Bayer CMOS，但目前相机领域的Quad-Bayer主要还是为了实现独立曝光时间控制的实时HDR效果，因为相机的ISP和CIS可以一对一选择搭配，对于相机来说实际上不太需要Quad-Bayer转Bayer这种多此一举的东西：

而且相机的像素尺寸比较大，目前而言暂时不会摸到0.8μm这种会接近量子效应下限的程度，对于四合一大像素模式这种也没什么需求（不如自己回去缩图，自己缩图是带完整的空间采样信息的），所以除了这种实时HDR之类的特别需求之外，目前仍然是拜耳阵列占据绝对主流，Quad-Bayer是有代价的，并不如直接上一块高密度的拜耳阵列传感器更好用（有需要的时候拜耳阵列也完全可以做binning或者像素合并输出）。

但通过这块IMX586我们对于相机行业也不是全无展望，从IMX586上我们可以看到目前量产CIS的集成度又更进了一步，从当年只有模拟电路的普通CMOS，到每行都内置ADC的Exmor CMOS，再到背面照射式、集成多种输出模式的Exmor R，再到集成DRAM的Exmor RS，然后到现在集成DSP，具有初步信号处理输出功能的传感器，CIS的集成度越来越高，功能越来越多，可以实现的东西也越来越有意思。这样的话对于传感器设计、制造，相机产品设计制造和用户来说算是三方利好，首先传感器设计可以越来越模块化，可以去尝试不同的组件方案而无需考虑后端ISP的支持问题，手机CIS这个试验田也可以拿来试验更多的东西。对于制造相机的厂商来说CIS集成了越来越多的功能，外部可以做得更简洁功耗也会有一定幅度的下降（当然这会不会导致索尼相机部门从索尼半导体方面获取更多的黑箱福利还很难讲）。对于用户来说那当然是科技创造艺术啦，希望越来越高集成度的CIS能够再掀起一次当年D800和A9给我们带来的惊艳和带来更多的创作便利吧。

兰拓信用免押金租赁功能终于来了！