成像系统

——光学镜片：把光聚焦到传感器上

——传感器：将光信号转换成电信号

——ISP：将传感器得到的信号进行处理得到可视图像

——其他影响图像质量的部件

成像过程

使用相机和手机等设备拍照时

ISP芯片是拍照过程中的运算处理单元，其地位相当于相机的“大脑”

ISP

ISP(ImageSignalProcessor)，即图像信号处理器，用于处理图像信号传感器输出的图像信号。它在相机系统中占有核心主导的地位，是构成相机的重要设备。

内部结构

•CPU

CPU即中央处理器，可以运行AF、LSC等各种图像处理算法，控制外围设备

•SUBIP

SUBIP是各种功能模块的通称，对图像进行各自专业的处理。常见的SUBIP如DIS、CSC、VRA等。

•图像传输接口

图像传输接口主要分两种，并口ITU和串口CSI。

•通用外围设备

通用外围设备指I2C、SPI、PWM、UART、WATCHDOG等。ISP中包含I2C控制器，用于读取OTP信息，控制VCM等。

ISP工作流程

ISP处理图像数据基本流程图

ISP主要功能

•DEMOSAIC（去马赛克）

SENSOR的像素点上覆盖着CFA，光线通过CFA后照射到像素上。CFA由R、G、B三种颜色的遮光罩组成，每种遮光罩只允许一种颜色通过，因此每个像素输出的信号只包含R、G、B三者中的一种颜色信息。SENSOR输出的这种数据就是BAYER数据，即通常所说的RAW数据。显而易见，RAW数据所反映的颜色信息不是真实的颜色信息。DEMOSAIC就是通过插值算法将每个像素所代表的真实颜色计算出来。Demosaic的目的就是有bayer数据恢复出完整的RGB数据。

•AF（Automaticfocus）自动对焦

根据光学知识，景物在传感器上成像最清晰时处于合焦平面上。通过更改LENS的位置，使得景物在传感器上清晰的成像，是ISPFOCUS功能所需完成的任务。FOCUS分为手动和自动两种模式。

•AWB(Automaticwhitebalance)自动白平衡

白平衡与色温相关，用于衡量图像的色彩真实性和准确性。简单的说，就是通过图像调整，使在各种光学条件下拍摄出的照片色彩和人眼所看到的景物色彩完全相同。

•AE（Automaticexposure）自动曝光

ISP需要实现AE功能，通过控制曝光程度，使得图像亮度适宜。

•GammaCorrection伽马校正

传感器对光线的响应和人眼对光线的响应是不同的。伽玛校正就是使得图像看起来符合人眼的特性。

•LSC(Lensshadingcorrection)

用于消除图像周边和图片中心的不一致性，包含亮度和色度两方面。

•NoiseReduction噪声去除

除去图像中的噪点，使图像更加清晰。

•Crop/Resize

图像剪裁，即改变图像的尺寸，用于输出不同分辨率的图像。

•MCT-CMX多色温颜色矩阵矫正

让色彩贴近现实、饱满、细节突出、清晰度更好。

•VRA

视觉识别。用于识别特定的景物，例如人脸识别，车牌识别。

•DRC

动态范围校正。动态范围即图像的明暗区间。

•CSC

颜色空间转换。例如，ISP会将RGB信号转化为YUV信号输出。

•IS

图像稳定。IS的主要作用是使得图像不要因为手持时轻微的抖动而模糊不清。

控制方式

这里所说的控制方式是AP对ISP的操控方式。

I2C/SPI

这一般是外置ISP的做法。SPI一般用于下载固件、I2C一般用于寄存器控制。在内核的ISP驱动中，外置ISP一般是实现为I2C设备，然后封装成V4L2-SUBDEV。

MEMMAP

这一般是内置ISP的做法。将ISP内部的寄存器地址空间映射到内核地址空间。

MEMSHARE

这也是内置ISP的做法。AP这边分配内存，然后将内存地址传给ISP，二者实际上共享同一块内存。因此AP对这段共享内存的操作会实时反馈到ISP端。

ISP架构方案

上文多次提到外置ISP和内置ISP，这实际上是ISP的架构方案。

外置ISP架构

外置ISP架构是指在AP外部单独布置ISP芯片用于图像信号处理。外置ISP的架构图一般如下所示：

外置ISP架构图

外置ISP架构的优点主要有：

能够提供更优秀的图像质量

在激烈的市场竞争下，能够存活到现在的外置ISP生产厂商在此领域一般都有很深的造诣，积累了丰富的影像质量调试经验，能够提供比内置ISP更优秀的性能和效果。因此，选用优质的外置ISP能提供专业而且优秀的图像质量。

能够支援更丰富的设计规划

外置ISP的选型基本不受AP的影响，因此魅族可以从各个优秀ISP芯片供应商的众多产品中甄选最合适的器件，从而设计出更多优秀的产品。

能够实现产品的差异化

内置ISP是封装在AP内部的，是和AP紧密的联系在一起，如果AP相同，那么ISP也就是一样的。因此基于同样AP生产出来的手机，其ISP的性能也是一样的，可供调教的条件也是固定的，这样就不利于实现产品的差异化。而如果选择外置ISP，那么同一颗AP，可以搭配不同型号的ISP，这样可以实现产品的差异化，为给用户提供更丰富和优质的产品。

外置ISP架构的缺点主要有：

成本价格高

外置ISP需要单独购买，其售价往往不菲，而且某些特殊功能还需要额外支付费用。使用外置ISP，需要进行额外的原理图设计和LAYOUT，需要使用额外的元器件。

开发周期长

外置ISP驱动的设计需要多费精力和时间。使用外置ISP时，AP供应商提供的ISP驱动就无法使用，需要额外设计编写外置ISP驱动。另外，为了和AP进行完美的搭配，将效果最大化，也往往需要付出更多的调试精力。上文也提到，使用外置ISP，需要进行额外的原理图设计和LAYOUT，需要使用额外的元器件，这也是需要花费时间进行处理的。

内置ISP架构

内置ISP架构是指在AP内部嵌入了ISPIP，直接使用AP内部的ISP进行图像信号处理。内置ISP的架构图一般如下所示：

内置ISP架构图

内置ISP架构的优点主要有：

能降低成本价格

内置ISP内嵌在AP内部，因此无需像外置ISP一样需要额外购买，且不占PCB空间，无需单独为其设计外围电路，这样就能节省BOM，降低成本。鉴于大多数用户在选购手机时会将价格因素放在重要的位置，因此降低成本能有效的降低终端成品价格，有利于占领市场。

能提高产品的上市速度

内置ISP和AP紧密结合，无需进行原理图设计和LAYOUT设计，因此可以减小开发周期，加快产品上市的速度。

能降低开发难度

如果使用内置ISP，那么AP供应商能在前期提供相关资料，驱动开发人员可以有充足的时间熟悉相关资料，而且不会存在软件版本适配问题，也不存在平台架构兼容性问题。但是，如果使用外置ISP，那么ISP供应商往往都不能提供针对某个平台的代码/资料，而且一般都存在软件版本兼容问题，这就需要驱动开发人员付出额的经历和时间。

要了解相机系统，就不能不熟悉ISP，本文从ISP内部构成、功能特性、操控方式等角度介绍了ISP的各方面知识，希望通过本文，让大家有所收获。