有了它，你才能“看清”真实世界

来源：脑极体

最近看到生物学教授王立铭的一个有趣假设，他说，假如存在外星高级智慧生物，那么它大概率和人类一样是用眼睛来感知外部世界的。

为什么这么说呢？因为视觉信息，也就是光这样的电磁波，是所有感知信息中反映环境变化最准确、承载环境信息最丰富的通道。但凡智慧生物，如果不是生活在黑暗地下或者是幽冥深海，基本上都会依靠视觉信息来捕食和逃生。

因为光是宇宙中最普遍的存在，不需要具体介质（空气、水等）也能直线传播，能够充分准确、及时的反映出空间和物体的信息，比声音、味道、触觉所承载的信息量大多了，同时也稳定多了。

这一假设从人类制造的智能设备中也可以得到验证。以智能手机为例，其最主要接收到的两类信息，一个是图像，一个是声音。声波的输入和输出，作为电话最初的功能，发展至今技术已臻于完善，只能在音质稳定性上进行小打小闹地改善。

而图像已经成为智能手机最核心功能，其拍摄技术和图像质量在不断升级，其所产生的数据也占据了手机最多的内存资源，也成为各种应用最主要的数据源头。

事物的影像通过光的反射进入眼睛当中，视网膜上的感光细胞就可以检测到这些光的强度、角度和位置，从而引发生物电信号，最后传递给大脑神经细胞进行视觉图像的成像，才让我们看到和记住看到过的事物。

和生物视觉的实现方式一样，图像视觉的处理过程也基本按照这一过程实现，包括收集光源的镜头、将光信号转化为电信号的图像传感器、对图像电信号进行数字处理的 ISP 芯片以及现在能对图像进行进行分析识别的当红辣子鸡的 AI 芯片。

在我们每一天拿起手机随手拍照、摄像的过程中，这些不起眼的设备都在进行着每秒数以亿次的庞大计算，才能让我们拥有五光十色的拍摄效果。

在图像技术一直逼近甚至挑战人类的视觉能力极限的过程中，ISP 芯片发挥着至关重要的作用。本文我们主要关心下 ISP 的技术逻辑、ISP 技术产业现状和发展趋势。

光的美颜师：ISP 的运行逻辑

ISP，即 "Image Signal Processor"（图像信号处理器）的缩写，是用来对前端图像传感器输出信号进行处理的单元。通俗来理解就是，ISP 所要做到的就是将 " 数字眼睛 " 的视力水平提高到 " 人类眼睛 " 的水平，让人眼看到数字图像时的效果尽可能接近人眼看到实景时的效果。

一个 ISP 其实是一个 SoC 核心，内部包含 CPU、SUP IP、IF 等单元，可以运行各种算法程序，实时处理图像信号。ISP 的控制结构由 ISP 逻辑和运行在上面的 Firmware 两个部分组成，逻辑单元除了完成一部分算法处理外，还可以统计出当前图像的实时信息。Firmware 通过获取 ISP 逻辑的图像统计信息进行重新计算，反馈控制 Lens、Sensor 和 ISP 逻辑，以达到自动调节图像质量的目的。

（图源：CSDN《ISP 图像信号处理算法概述》，下同）

根据专业人士的介绍，ISP 的具体处理流程是这样：Lens 将光信号投射到 sensor 的感光区域后，sensor 经过光电转换，将 Bayer 格式的原始图像送给 ISP，ISP 经过算法处理，输出 RGB 空间域的图像给后端的视频采集单元。在这一过程中，ISP 通过运行在其上的 Firmware 固件对 ISP 逻辑，从而对 Lens 和 sensor 进行相应控制，进而完成自动光圈、自动曝光、自动白平衡等功能。其中，Firmware 的运转靠视频采集单元的中断驱动。PQ Tools 工具通过网口或者串口完成对 ISP 的在线图像质量调节。

ISP 的算法处理，可以对 Bayer 图像进行黑电平补偿 （black level compensation）、镜头矫正（lens shading correction）、坏像素矫正（bad pixel correction）、颜色插值、Bayer 噪声去除、 白平衡（AWB） 矫正、 色彩矫正（color correction）、gamma 矫正、色彩空间转换（RGB 转换为 YUV）、在 YUV 色彩空间上进行彩噪去除与边缘加强、色彩与对比度加强，中间还要进行自动曝光控制等，然后输出 YUV 或者 RGB 格式的数据， 再通过 I/O 接口传输到 CPU 中处理，进行图像的存储和显示。

（编辑：应用网_阳江站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!